TiCDC 运行过程中,报重复键:
去查看 TiCDC的 error log:
想去手工处理下游重复的数据,但并没有看到是哪张表的数据。
如果知道是哪张表,删除数据后,再开启任务是不是就可以了?
方便上传下报错前后的ticdc日志吗?(大概10分钟) 多谢。
您能试试 curl http://{TiDBIP}:10080/regions/53585 看看是哪张表,是否是这个值,多谢。
找到表了,TiDB 里有 id=11483752 这条数据,但是下游 MySQL 没有这条数据。为什么还会报 Duplicate entry?
抱歉,还是没有分析结果,有进展会尽快同步,多谢。
好的,麻烦了。
我这边暂时新建了 changefeed ,跳过这个数据,继续同步,再看看还会不会遇到这种问题。
因为我们需要拿到源库的sql,所以创建的时候设置了 safe-mode=false,试了几次安全模式下是没问题的。
关了安全模式,就会随机地报重复键问题,而且报错后去校验数据,发现上游tidb和下游mysql表里数据都一致的。
抱歉,答复的比较晚。
感谢回复!
目前因为下游业务需要,只能使用 old value 模式。官方未来对于 cdc 数据重入的问题有优化计划吗?
有确定的计划后,我再更新
好的,谢谢!
麻烦帮忙反馈下 tiup cluster display 的信息。
请问 ticdc 是单独部署在一个服务器吗?
部署信息:
都是混合部署的
能麻烦帮忙确认下,服务器整体 message 日志 或者 dmesg 有报错吗? 其他同服务器的节点有重启或者报错吗?在这个时间点。