【TiDB 4.0 PCTA 学习笔记】- 3.6.1 Data migration tools introduction （TiDB 数据迁移工具介绍） @2班+李响

[Hacker_OKczgYS8]

课程名称：3.6.1 Data migration tools introduction （TiDB 数据迁移工具介绍）

学习时长：

20分钟

课程收获：

使用数据迁移工具迁移数据到 TiDB 中

课程内容：

一、Dumpling工具

1. 什么是Dumpling
   是可以将TiDB和MySQL数据已SQL或CSV格式进行逻辑上的全量备份和导出
2. Dumpling简单介绍

• 使用Go开发的备份工具
• 更多的使用方法可以通过Dump help选项查看，或者使用Dumpling的选项表查看
• 使用Dumpling时需要在已经启动的集群上执行导出命令

3. Dumpling与Mydumper的优点

• Dumpling支持导出多种格式，SQL和CSV
• 支持全新的table-filter，筛选数据更加方便
• 针对TiDB进行了如下优化
  支持配置单条SQL的内存限制
  支持TiDB4.0以上版本自动调整GC时间
  使用了TiDB的hidden column_tidb_rowid优化了数据库单表导出性能
  通过tidb_snapshot参数指定TiDB备份数据点时间点从而保证数据一致性，而不是通过FLUSH TABLES WIHT READ LOCK保证数据的一致性，从而加强了数据一致性

二、TiDB Lightning

1. 什么是TiDB Lightning
   是一个将全量数据高速导入到TiDB集群的工具
2. 两种使用场景（支持MyDumper和CSV输出的数据源）

• 大量新数据的快速导入
• 全量备份数据的恢复

3. TiDB Lightning工作原理
   
   

三、 TiDB Data Migration（DM 2.0）

1. 什么是DM 2.0
   是一个一体化的数据迁移任务管理平台，支持MySQL或Maria DB到TiDB的全量数据迁移或增量数据复制，有利于简化处理流程降低运维成本。
2. DM 2.0功能

• 支持Table routing功能
  可以将上游的MySQL或Maria DB实例的某些表迁移到下游指定表
• 黑白名单过滤功能
• Binlog filter过滤功能
• DM在线DDL功能
• 分库分表的合并迁移功能
  可以将上游的MySQL或Maria DB实例中结构相同或不同的表迁移到下游TiDB同一张表中

3. DM 2.0工作流程
   
   

学习过程中参考的其他资料

• Dumpling

[TiDB_学习助手]

同学你好，感谢参与 TiDB 4.0 课程的学习！

本篇笔记逻辑清晰、内容丰富，被评选为优质笔记，将额外获得 20 积分，并在 「TiDB 培训」分类下获得“置顶”权益，积分兑换规则将于近期开放，敬请关注！

期待您继续产出优质内容！