为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
- 【TiDB 版本】:v4.0.0-rc
- 【问题描述】: 上游msyql版本:5.6.37 dm版本:v1.0.4
全库同步,没有合表。DM在load阶段会出现主键冲突[error=“Error 1062: Duplicate entry ‘5072266169872550067-1571443946’ for key ‘PRIMARY’”],检查过对应dump.sql文件,发现只有一条记录。 报错的同时,dm-worker-stderr.log中发现connection.go:99: invalid connection错误 resume-task之后恢复,隔一段时间后还会出现主键冲突。每次出现的记录都是不一样的。 是否有可能因为导入过程中,worker重复导入了同一条记录。 load的时候kv节点磁盘IO负载比较高(util 100%)
疑问: 1、在上游导出的sql文件没有重复记录的情况下,造成这种情况的原因是什么? 2、worker在load阶段有没有参数可以避免这种错误,比如改用replace into或者insert ignore的方式?(mydumper貌似没有 --replace 参数) 3、task.yaml中loader的参数pool-size=16,调整该参数为1是否能避免这个问题?