DM 同步rds问题

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:1.0.3
  • 【DM 版本】:1.0.3
  • 【问题描述】:同步上游rds库的时候出现报错,下面是task报错日志日志.rtf (36.2 KB)

附件中有报错: Error 1062: Duplicate entry ‘zone1’ for key 'idx_zone_uuid

检查下这个 key 是否有合库合表的之后的冲突。

如何检查? 用命令 query-error taskname 只显示任务暂停,无报错

嗯,先看下相关的表结构,然后根据报错中的这个 key ,在上游查下重复的情况。

如果有合库合表的冲突,需要在下游 tidb 把 sharding key 加入到唯一索引中去

上游没有合库合表的

嗯啊,麻烦确认下报错中的 Error 1062: Duplicate entry ‘zone1’ for key 'idx_zone_uuid 表结构和上游数据情况。

这个是什么

  1. Error 1062: Duplicate entry ‘zone1’ for key 'idx_zone_uuid. 这里应该是你的字段对应的值zone1已经有值了,可能是一个主键或者唯一索引,导致再次插入失败。
  2. 可以查看dm-worker,查看是否有其他信息,可以确认是哪张表,或者您如果知道idx_zone_uuid索引属于哪张表,可以上传该表结构,同时查看库里是否已经有zone1的值,多谢

我感觉是 表名_loader_checkpoint的问题

checkpoint 的表中没有数据,可能是这个原因,不知道为什么,导致了未知的错误

  1. 麻烦先反馈下上面需要的信息,看报错是先有的重复信息

上面是task 的日志 query-status 命令显示的,用query-error 每有错误 只显示任务暂停

在Lode的过程中就报错了

1 当前有几个task有问题? 麻烦发送一个完整的query-status的状态,如果截图不行,麻烦发送文本文件

2.麻烦您上传dm-worker的日志,我们看下日志

3.请上传task文件

1:在Lode 的过程中报错 以下是完整的query-status 日志

  1. 请反馈所需要的日志等信息
  2. 这里不是冲突了吗? 按照之前的帖子检查冲突的信息
  3. 请先按照以上思路来排查问题。

冲突是什么意思

sql之间的冲突,还是表之间的冲突