一、分布式数据库发展简史
1、20世纪的数据库
主要数据库市场:传统数据库
传统数据库特点:
(1)SQL交汇
(2)单机(共享存储、共享内存、共享CPU、共享网络)
(3)OLTP
(4)数据量小、并发小
典型的数据库代表:postgresql、mysql、sqlserver
2、2000年后(互联网时代)
(1)分布式中间件技术:实现分库、分表 典型代表:shardingsphere vitess
(2)数据仓库:不支持SQL交汇、利用API交汇 典型代表:hadoop
(3)OLAP的数据库 :海量数据分析数据,特点:分布式、列存储、sql交互 典型代表:greenplum、monetdb
(4)nosql:利用key_value API和数据库交汇,特点:无ACID事务、无schema、分布式、高可用、高性能 典型典型代表:一、分布式数据库发展简史
1、20世纪的数据库
主要数据库市场:传统数据库
传统数据库特点:
(1)SQL交汇
(2)单机(共享存储、共享内存、共享CPU、共享网络)
(3)OLTP
(4)数据量小、并发小
典型的数据库代表:postgresql、mysql、sqlserver
2、2000年后(互联网时代)
(1)分布式中间件技术:实现分库、分表 典型代表:shardingsphere vitess
(2)数据仓库:不支持SQL交汇、利用API交汇 典型代表:hadoop
(3)OLAP的数据库 :海量数据分析数据,特点:分布式、列存储、sql交互 典型代表:greenplum、monetdb
(4)nosql:利用key_value API和数据库交汇,特点:无ACID事务、无schema、分布式、高可用、高性能 典型典型代表:mongdb、HBASE、CASSANDRA
3、2010年后
newsql
特点:OLTP 、支持ACID事务、分布式、高可用、高性能 典型代表:cloud spanner
4、2010年后
HTAP
同时具备newsql(OLTP)、数据仓库(OLAP)的功能
典型代eeeeeee表:TIDB
mongdb、HBASE、CASSANDRA
ewwww一、分布式数据库发展简史
1、20世纪的数据库
主要数据库市场:传统数据库
传统数据库特点:
(1)SQL交汇
(2)单机(共享存储、共享内存、共享CPU、共享网络)
(3)OLTP
(4)数据量小、并发小
典型的数据库代表:postgresql、mysql、sqlserver
2、2000年后(互联网时代)
(1)分布式中间件技术:实现分库、分表 典型代表:shardingsphere vitess
(2)数据仓库:不支持SQL交汇、利用API交汇 典型代表:hadoop
(3)OLAP的数据库 :海量数据分析数据,特点:分布式、列存储、sql交互 典型代表:greenplum、monetdb
(4)nosql:利用key_value API和数据库交汇,特点:无ACID事务、无schema、分布式、高可用、高性能 典型典型代表:mongdb、HBASE、CASSANDRA
3、2010年后
newsql
特点:OLTP 、支持ACID事务、分布式、高可用、高性能 典型代表:cloud spanner
4、2010年后
HTAP
同时具备newsql(OLTP)、数据仓库(OLAP)的功能
典型代表:TIDB
3、2010年后
newsql
特点:OLTP 、支持ACID事务、分布式、高可用、高性能 典型代表:cloud spanner
4、2010年后
HTAP
同时具备newsql(OLTP)、数据仓库(OLAP)的功能
典型代表:TIDB
二、HTAP数据库介绍
1、什么是HTAP?
HTAP:读音[H ta:p] 由gartner 公司提出的词汇
2、为什么需要HTAP?
业务场景同时需要TP和AP。
3、HTAP使用场景
TP+AP一站式使用
4、实现HTAP数据库的难点
- 分布式的TP数据库较难实现,TIDB参考Google的三篇论文。
- TP和AP模块对于数据的处理和存储,难以协调。
- TP和AP数据的同步和更新。
5、TiDB 4.0特性:
-
1.实时更新列存(异步方式)
-
2.智能选择行存与列存
-
3.Raft 架构
-
4.TiKV 和 TiFlash在同一个Raft 完成数据同步
-
5.TiKV 和 TiFlash 两者互不影响
6、总结:
TiDB适用与一些混合了事务写入和数据分析等的场景,可以替换原本分离的实时查询和分析的数据库,也可以作为数据的基座或与hadoop等数仓产品等结合使用。
TiDB4.0添加了TiFlash组件,已经初步完成HTAP数据库的转型。TiFlash的数据是异步复制Tikv的数据,