【TiDB 4.0 PCTA 学习笔记】- 3.6.1 Data migration tools introduction (TiDB 数据迁移工具介绍)@1班+Kun

课程名称:(301)3.6.1 Data migration tools introduction (TiDB 数据迁移工具介绍)

学习时长:15min

课程收获:能够使用数据迁移工具迁移数据到 TiDB 中。

课程内容: Dumpling;TiDB Lightning;DM

dumping :导出格式为 sql 、csv,逻辑全量备份和导出

支持表过滤和数据过滤;支持配置单条SQL 的内存限制;支持自动调整GC 时间;使用隐藏列的Rowid优化单表导出性能;指定snapshot进行备份保证数据一致性

Lightning :将全量数据快速的导入到 tidb;大量的新数据,或需要全量备份数据的恢复时使用

Lightning 会自动将tikv 切换到数据导入模式,数据自动压缩进行传递;单表超过200GB 可以以增量的方式,并行导入
数据引擎,索引引擎;对应两种键值对,写入时有不同的策略;完成写入后检查数据是否一致
Data Migration:数据迁移任务一体化的管理平台,支持Mysql到 tidb 全量数据迁移,或增量数据复制
表路由:上游Mysql 表中的数据迁移到下游指定表中;黑白名单过滤;binlog event 过滤;在线管理DDL Schema;分库分表的迁移合并
Dm worker
dmctl 命令行

学习过程中遇到的问题或延伸思考:

  • 问题 1:
  • 问题 2:
  • 延伸思考 1:
  • 延伸思考 2:

学习过程中参考的其他资料