结课证书
课程链接
课程大纲
-
数据库、大数据与 TiDB 的发展简史
-
01: 数据库、大数据发展历史与趋势
-
02: 分布式关系数据库的发展
-
03: TiDB 产品与开源社区演进
-
-
TiDB 整体概述
-
04: 我们到底需要一个什么样的数据库
-
05: 如何构建一个分布式存储系统
-
06: 如何构建一个分布式 SQL 引擎
-
-
新一代 HTAP 数据库选型
-
07: 基于分布式架构的 HTAP 数据库
-
08: TiDB 关键技术创新
-
09: TiDB 典型应用场景及用户案例
-
-
TiDB 初体验
- 10: TiDB 初体验
课程笔记(上)
-
从时间、数据容量和架构演变等多个角度理解数据库发展趋势
-
理解分布式关系型数据库是面向未来的数据库
-
数据库技术发展内在驱动:业务发展(数据容量),场景创新(数据模型与交互效率),硬件与云计算的发展
-
数据库架构:单节点,共享状态,分布式
-
RDBMS → NoSQL(Not only SQL) → NewSQL → HTAP
-
数据技术的细分 and 数据服务的融合
-
Trade Off(选择与平衡)
-
1965,高登·摩尔,集成电路上可以容纳的晶体管数目在大约每经过18个月便会增加一倍。
-
2006年Google的gfs,bigtable,MapReduce
-
分布式系统的分治与协助
-
分布式技术的主要挑战
-
如何最大程度的实现分治
-
如何实现全局的一致
-
如何进行故障与部分失效的容错
-
如何应对不可靠的网络与网络分区
-
-
CAP理论
-
C 一致性 consistency
-
A 可用性 availability
-
P 分区容忍性 partition tolerance
-
-
关系型模型与事务
-
A atomicity 原子性
-
C consistency 一致性
-
I isolation 隔离性
-
D durability 持久性
-
-
newsql(原生分布式关系型数据库)= 分布式系统 + SQL + 事务
-
2013年,Google,spanner论文,F1论文
-
2014年,工业级分布式一致性协议实现的Raft论文
-
TiDB,开源、原生分布式关系型数据库,HTAP
-
开源:基础软件(倾向于通用与标准化)成功的一个最佳路径
-
开源:开放源码,开放态度,开源生态治理
-
设计一款分布式关系型数据库
-
扩展性(弹性、面向写入)
-
强一致性、高可用性(RPO=0、RTO足够小)
-
标准SQL 支持ACID事务
-
云原生
-
HTAP(海量数据下的OLAP和OLTP的融合、行列混合)
-
兼容主流生态与协议
-
-
数据技术栈领域里常见的基础因素
-
数据模型
-
数据存储与检索结构
-
数据格式
-
存储引擎
-
复制协议
-
分布式事务模型
-
数据架构
-
优化器算法
-
执行引擎
-
计算引擎
-
-
硬件尤其是网络的发展推动了计算与存储分离架构
-
TiDB高度分层架构