DM 2.0 Load阶段失败 invalid data sql file, cannot find table - xxx.xxx.0000000550000.sql

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：4.0.9
  • 【问题描述】：如题，文件实际存在，重试多遍后发现还是这样

但是发现重启 master / worker 后，再开始任务正常

2

请问 DM 使用的版本是 2.0.0 还是 2.0.1 ？
麻烦确认下：

  • SQL 文件是否存在
  • DM-worker 是否发生切换

每次报错是否是同一个文件导致。

3

随机的，一直变

4

上个帖子的问题麻烦一一回复下吧。另外注意提问方式，提供的信息比较少，无法判断。如果方便，麻烦上传下 dm-worker 以及 dm-master 日志。

5
  1. DM版本是2.0.1
  2. SQL文件存在
  3. 非同一个文件，一直变

日志丢失了，放弃了，仅仅提出这个问题，感觉是个bug

6

从上面的信息判断这个问题应该是个 bug，预计是 dm 内部执行器调度造成的。

目前临时的 workaround 方案

  1. 升级 DM 到最新的 nightly 版本，dm 调度会优先调度任务到之前正在执行导出和导入的 worker
  2. 不升级 DM，使用 dumpling 和 lightning 执行全量数据迁移 https://docs.pingcap.com/zh/tidb/stable/migrate-from-mysql-dumpling-files，然后使用 DM 进行增量数据迁移
7

还有个信息，是添加第二个任务到第二个worker上才会这样，感觉是你说的这样

8

@IANTHEREAL 相关 issue pr 可否提供下