Important features of TiDB database platform(TiDB 技术特性)
TiDB 的基础架构
一个tidb 至少存在一个 无状态的tidb sql引擎 ,一个基于key-value的存储引擎,一个存储元数据的调度引擎
如果我们已经有一套spark集群,我们只要把原生的tispark 的jar包放在spark集群中去,tispark会去pd中去注册信息,work这样并行计算就会知道去哪个tikv去取数据,返回给客户端
如果没有spark集群,可以使用tiup安装配置spark集群
扩展 HTAP 架构
行列混存,使用raft强一致协议保证一致性,通过行存转换成列式存储。
列式存储引擎使用场景:在几千万数据中扫描获取几列数据,进行聚合分析,这时候列式存储引擎就具有优势。
TiDB 4.0 提供的新功能及改进点。
1、可扩展性
2、高可用性
3、分布式事务
4、实时的HTAP
1、在线的扩缩容,数据自动平衡
2、tidb高可用。
数据库在生产上的存储计算引擎是是可以无限扩展不存在单点
基于raft的协议,是强一致的协议,
在出现错误的时候pd可以自动感知pd是可以自动感知,能够做到故障自动恢复。tidb多副本协议自动感知
两地三中心多活架构
3、分布式事务
tidb做到分布式事务数据的一致性
在应用中不用做到分片键
支持同一个sql在跨多个分片,跨多个业务中心
支持列式存储引擎
当申请的是一个分析型数数据到tiflash 列式存储引擎,但是列式存储引擎存在延迟,就会向主节点申请延迟返回数据保证数据一致性
tidb 不需要etl,不需要t+1
TiDB4.0优化
TiUP
新的安装部署工具使用tiup搭建tidb
支持大事物
临时表
可视化dashboard
支持云的调度
1、tiup工具
测试环境快速搭建tidb集群
支持离线部署
移除设备检测
2、 大事务
3.0限制
整个事物100M限制
单行限制6M
一个事物转换为kv时不能超过300000
4.0
整个事物限制10G
单个键值对依然是6M
3、临时表支持
oom-use-tmp-storage 超过内存限制32G,会使用磁盘空间,通过外挂临时表完成SQL执行
4、dashboard
可以看到集群的状态
热键问题识别
查询SQL分析
性能诊断
5、云k8s的调度