dm同步出现主键重复报错

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】
【附件:截图/日志/监控】


dm出现这种主键重复问题,resume-task之后还会出现,还要一直resume-task

您好,relay.meta 里面的位点指的是从哪个位点开始拉取上游的 binlog,同步过程中遇到报错,是指把 relay log 的 event 在下游执行时报错,所以修改 relay.meta 是无效的。复制一般情况下遇到问题大概率是下游 tidb 不支持,所以可以使用 sql-skip 跳过,或者在 task 配置中修改 binlog filter 提前过滤掉。如果是想指定从某个位置开始同步,可以修改 checkpoint 信息(不推荐修改,修改错误后出现可能会出现数据丢失的情况)
https://docs.pingcap.com/zh/tidb-data-migration/v1.0/error-handling#relay-处理单元报错-event-from--in--diff-from-passed-in-event--或同步任务中断并包含-get-binlog-error-error-1236-hy000、binlog-checksum-mismatch-data-may-be-corrupted-等-binlog-获取或解析失败错误

将safe-mode改为true,然后进行stop-task, start-task,观察dm是否会报错,如果是正常的主键冲突的话不会报错,如果是执行命令有问题可以看下tidb的错误日志,还有根据pos点拿到对应的sql语句在tidb执行下,看下有什么报错


重新做任务load阶段就会出现这个问题

专栏 - 常见问题排查之 -- DM 主键冲突的原因及排查思路 | TiDB 社区.

根据这个来处理吧

1 个赞