DM 迁移 5亿条数据表持续5天

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0
  • 【问题描述】:利用DM将数据从rds上迁移至TIDB 过程中有几张表数据量从1亿至5亿,持续了5天仍未完成。查询:query-status 状态正常,GTID号有变化,dump出的binlog文件也在增加,但是任务就是一直无法进入load阶段。请问有什么办法提升dump速度,或者我是否在dump阶段发生了问题

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

使用 DM 进行数据同步,首先会进行全量的 dump + loader 阶段,然后才会使用 binlog 进行增量同步。任务一直无法进入 load 阶段,建议查询下游的 TiDB 是否有数据 load 进来。如果没有数据同步到下游,任务正常且一直无报错,考虑增加 dump 的速度,在内存足够的情况下可以增加并发来提高速度,具体可参考配置文件部分参数设置:https://pingcap.com/docs-cn/v2.1/reference/tools/data-migration/configure/task-configuration-file/