【TiDB 4.0 PCTA 学习笔记】- 1.2 Why HTAP Matters(HTAP 数据库简介)@3班+刘泽宇@平安科技

【TiDB 4.0 PCTA 学习笔记】- 1.2 Why HTAP Matters(HTAP 数据库简介)@3班+刘泽宇@平安科技

课程内容:

第一部分:什么是HTAP
一、什么是HTAP

TP和AP的概念
TP = Transactional Processing
特点:交易数据 行存储 高并发 触及一小部分行 一般只存当前数据
AP = Analytical Processing
特点:分析性处理 列存格式 批量更新 低并发 往往处理相对多的历史数据

TP和AP数据库拆成两套不同的系统
特点:
(1)在线数据放至TP数据库每个一段时间放至数据仓库或数据胡中
(2)因为延迟,所以在数仓或数据湖分析数据时数据为旧数据
(3)分析后数据可能需要转储到其他地方,会带来数据平台复杂且数据新鲜度丢失

二、为什么用HTAP
TP和AP界限越来越模糊,例如综合查询平台,提供报表、高并发查询,或在线数据实时分析,或夸不同业务线汇聚过来的实时数据

三、HTAP如何帮助

可以使架构简单、降低运维成本
2.业务方可以达到面实时查询实时分析

3.使业务更具有敏捷性,因为可以实时分析实时决策
例子:在线订单管理和销售历史报表合并(双十一促销,分析最新鲜数据)实时分析更新的订单,不通过转
储方式第二天进行分析,需要数据库具有TP和AP的能力

技术上来说同时拥有这两种能力比较困难,需要某种方式来解决
原因:
(1)实现可扩展性
(2)同时需要支持两种不同的存储格式
(3)避免不同业务互相干扰,例如AP业务占用非常多的计算资源
(4)仅仅具备行存和列存的数据库无法避免将行存转为列存,需要紧密耦合才能确保数据新鲜
第二部分:HTAP如何帮助

一、TiDB的HTAP特性(数据中枢和实时分析平台)

本身是可扩展数据库

是很严苛的按照交易型数据库设计,被很多金融场景验证具备分析引擎

二、TiDB4.0特点

加入了可更新列存引擎

同时具备了行存和列存格式,可以同时使用不同机器资源做到无干扰且从行存到列存达到一致性复制

用户创建了列存副本优化器直接考虑使用哪种存储方式(行存、列存或并存)

三、案例

TP+AP 数据库架构转换成TiDB数据库,不仅优化了架构还能保证数据新鲜度

实时数仓或数据中枢,方便承载变更同时进行业务分析,例如客服中心同时承载分析和检查业务

有完整数据架构,在在线业务域离线数据之间架设TiDB,可以当数仓前站的入口,需要离线分析或存储成本高时,将数据存储到数仓中,使用TiSpark很方便的对接与其兼容的数据库,同时可以做数仓提供的高速缓存服务