课程名称:
201 2.3.3 Import Data to TiDB(将数据导入 TiDB)
学习时长:
25 min
课程收获:
了解 TiDB 生态中导入工具 Lighting 和 DM
课程内容:
1. 使用 TiDB Lighting 全量导入数据
1. TiDB Lighting 介绍
1. 什么是 TiDB Lighting?
TiDB Lighting 是把全量数据导入到 TiDB 集群中的工具
2. 两种模式
local 模式
特性 :
- 使用本地 kv 存储做 backend
- 特点是可以很快将大量数据导入到新集群中
架构 :
tidb 模式
特性 :
- 使用 TiDB/MySQL 做 backend
- 支持在线导入
架构 :
2. TiDB Lighting 特性
-
支持数据类型
- SQL
- CSV
-
表过滤
-
断点
-
web 界面
3. 使用场景
- 将 CSV 格式数据导入到 TiDB
- 导入大量数据到 TiDB
- 只导入全量数据到 TiDB
2. 使用 TiDB Data Migration 增量导入数据
1. TiDB Data Migration 介绍
1. 什么是 TiDB Data Migration?
DM 是用来将数据从 MySQL/MariaDB 迁移至 TiDB 的工具
2. 三种模式
- full
- incremental
- all(full + incremental)
3. 架构
DM 主要包含三个组件:DM-master、DM-worker 和 dmctl
- DM-master 负责管理和调度数据迁移任务的各项操作
- DM-worker 负责执行具体的数据迁移任务
- dmctl 是用来控制 DM 集群的命令行工具
2. TiDB Data Migration 特性
- table routing
- table filter
- binlog event filter
- 支持分库分表
- 支持 online DDL
3. 使用场景
- 只导入增量数据到 TiDB
- 分库分表合并到 TiDB
- 全量+增量数据导入到 TiDB
学习过程中参考的其他资料
无