课程名称:201+2.3.3 Import Data to TiDB(将数据导入 TiDB)
学习时长:30分钟
课程收获:了解数据导入工具Lightning和DM
课程内容:
讲师:张学程
1、 全量数据导入TiDB
TiDB Lightning
向TiDB全量导入数据的工具
两种模式:本地;tidb
流程:使用Dumpling将MySQL数据全量导出到文件,使用TiDB Lightning将数据全量导入到TiDB
数据源支持:SQL dump 文件;CSV文件;
表过滤功能
断点功能
断点信息存储位置:本地文件;兼容MySQL协议的数据库中
适合场景
从CSV导入数据到TiDB
导入大数据量到TiDB
导入全量数据到TiDB
2、 增量数据导入TiDB
TiDB data migration
是一个集成的、数据迁移的任务管理平台,支持从MySQL/Mariadb迁移数据到TiDB。
模式:全量、增量和all
组件:
DM-master:DM集群的管理中枢
DM-worker:向DM-master注册自己;支持冗余部署;
DM-controller:命令行工具
表路由:将上游的表导入到下游的指定表
表过滤:把指定的表导入到下游
Binlog事件过滤:更细粒度的过滤;
支持Sharding操作
在线DDL支持
适用场景:
增量数据复制
分库分表的合并
全量和增量数据的导入