在进行数据迁移时,使用tidb lightning全量迁移,然后用DM增量迁移,怎么保证数据的一致性?如果数据不一致我该怎么找到不一致数据?

你这里提到的方案应该是:

  1. dumpling 导出全量数据,这里 dumpling 会有个 metadata 文件,代表导出数据的 pos.
  2. 使用 lightning 全量导入 1 步中的数据,采用 local 方式 linghtning 可以完成校验,保证数据一致
  3. dm 开始增量同步,增量同步的开始位置就是 1 步中的 metadata pos,这里 dm 的 checkpoint 会保证一致性

如果在以上哪个环节造成不一致,那就报 bug 吧。

官方 sync-diff 工具也可以进行上下游数据校验。

2 个赞