DM 同步共享worker后，原来正常的task频繁出错

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：V3.0.5
  • 【问题描述】：原本我们的同步任务只有一个，就是将RDS上有的一个DB下的所有表同步到tidb中，任务运行两个月很正常。最近又有新的库表需要进行同步，就新增了task在这个worker上，但是发现同步发生异常，后来参考官方文档，知晓一个worker对应一个上游的source，于是又新增了两个worker进行新的任务同步，目前新任务在新worker上运行正常，但是原来的老task每隔一段时间报错’Duplicate entry’。 请教一下，这个问题如何解决呢？

12
122440×964 525 KB

2
  1. 请提供一下 DM 的版本 2.请检查一下是否有重复的表
3

1、DM版本是v1.0.2 。 2、上下游都是一个db，共58张表，没有重复的。 3、这和我task中remove-meta设置为false，有没有关系？

4

Duplicate entry ‘prt_mod_subsidy_weereport_feichaomiao-33298’ for key ‘UNIQUETABLE’ 这条错误显示，目前你的系统中有重复的数据，数据是 prt_mod_subsidy_weereport_feichaomiao，涉及的索引是 ‘UNIQUETABLE’

5

这个问题是在共用worker之前才出现的，之前跑了两个月都很正常。 那现在这个情况该怎么解决呢？

6

可以参考一下这里

7

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。