DM 同步共享worker后,原来正常的task频繁出错

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:V3.0.5
  • 【问题描述】:原本我们的同步任务只有一个,就是将RDS上有的一个DB下的所有表同步到tidb中,任务运行两个月很正常。最近又有新的库表需要进行同步,就新增了task在这个worker上,但是发现同步发生异常,后来参考官方文档,知晓一个worker对应一个上游的source,于是又新增了两个worker进行新的任务同步,目前新任务在新worker上运行正常,但是原来的老task每隔一段时间报错’Duplicate entry’。 请教一下,这个问题如何解决呢?

  1. 请提供一下 DM 的版本 2.请检查一下是否有重复的表

1、DM版本是v1.0.2 。 2、上下游都是一个db,共58张表,没有重复的。 3、这和我task中remove-meta设置为false,有没有关系?

Duplicate entry ‘prt_mod_subsidy_weereport_feichaomiao-33298’ for key ‘UNIQUETABLE’ 这条错误显示,目前你的系统中有重复的数据,数据是 prt_mod_subsidy_weereport_feichaomiao,涉及的索引是 ‘UNIQUETABLE’

这个问题是在共用worker之前才出现的,之前跑了两个月都很正常。 那现在这个情况该怎么解决呢?

可以参考一下这里