课程名称:2.3.3 Import Data to TiDB(将数据导入 TiDB)
学习时长:
20min
课程收获:
了解如何将已有数据导入到 TiDB 集群中
课程内容:
导入全量数据-TiDB Lightning
- local
- 使用kv storage作为backend
- 特点是可以快速的将大量的数据导入到TiDB集群中
- tidb
- 使用TiDB/MySQL作为backend
- 特点是可以做线上导入
- 特点
- 数据源支持类型
- SQL导出文件
- 使用Mydumper或者Dumpling导出的,来源可以是MySQL/TiDB
- CSV文件
- 使用Dumpling或者其他格式兼容的工具导出
- 需要提供一个额外的schema文件,也可以在TiDB中先创建好数据表
- SQL导出文件
- 表过滤
- 只导入重要数据库或数据表
- 把多个数据放在同一个共享存储上,然后启动多个TiDB Ligtning实例,每个实例只导入部分的数据库或数据表
- 断点
- 文件导入过程会有中断的场景,断点可以在中断后存储,继续之前的导入
- 2种存储方式
- 本地文件
- MySQL格式兼容数据库
- 将断点信息存储在本地文件或者另一个MySQL数据库可以减少MySQL或TiDB的压力,从而加快导入
- 数据源支持类型
- 适用场景
- 把CSV中的数据导入到TiDB中
- 导入大量的数据到TiDB中
- 只需要导入全量数据,不需要导入增量数据
导入增量数据-TiDB Data Migration
- 全量模式
- 增量模式
- 全量模式+增量模式
DM功能
- 库表路由
- 把上游的库或者表导入到指定的下游的库或表
- 上下游的表名可以不一样
- 表过滤
- Binlog event filter
- 支持Sharding
- online DDL
DM适用场景
- 增量数据的导入
- 分库分表合并
- 既有全量数据和增量数据的导入