dm 增量 rds 数据报错：write conflict

snluyufu · 2020 年6 月 4 日 01:31

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

【TiDB 版本】：1.0.3
【问题描述】：增量同步报错

snluyufu · 2020 年6 月 4 日 01:32

yilong · 2020 年6 月 4 日 01:42

tidb 版本是多少？
请上传 dm-worker 日志和 tidb.log 日志，多谢。

snluyufu · 2020 年6 月 4 日 01:59

tidb版本1.03
dm-worker日志

来了老弟 · 2020 年6 月 4 日 03:05

你好，

当前同步中存在写写冲突，请提供完成的 tidb.log 和 dm-worker.log 文本文件并上传 query-status 完成报错文本。感谢配合

snluyufu · 2020 年6 月 4 日 03:33

query-status 日志
query-status.rtf (53.2 KB) [dm-worker.rtf|attachment]

dm-worker日志
(upload://xgXY2yXipIuX6GlLjHGvnQFAB8M.rtf) (178.8 KB)

tidb.log
tidb.log.rtf (245.7 KB)

日志无法下载只上传了部分

来了老弟 · 2020 年6 月 4 日 03:46

dm-worker.log 请重新上传下，出错开始时间点开始

请检查下此文件是否为 tidb.log，这边看内容和格式并不准确，可以将原格式上传即可。

snluyufu · 2020 年6 月 4 日 06:06

能给你发邮箱吗？文件有80MB

来了老弟 · 2020 年6 月 4 日 06:07

dm 报错时间点以后的发过来即可。

snluyufu · 2020 年6 月 4 日 06:13

报错时间在六月三号19.20分左右

snluyufu · 2020 年6 月 4 日 06:15

文件太大，提示我

来了老弟 · 2020 年6 月 4 日 06:27

看下私信。

snluyufu · 2020 年6 月 4 日 07:01

已发送

来了老弟 · 2020 年6 月 4 日 07:13

snluyufu · 2020 年6 月 4 日 08:31

能看出来是什么问题吗老师

来了老弟 · 2020 年6 月 4 日 08:32

这边让研发小伙伴帮忙看下，感谢等待，当前同步看下是否可以通过 stop-task、start-task 可以解决，否则stop 、重启 dm-worker、start 看是否 ok

snluyufu · 2020 年6 月 4 日 08:37

stop-task 不就重新拉取日志了吗

snluyufu · 2020 年6 月 4 日 08:38

重启 dm-worker，无法解决

来了老弟 · 2020 年6 月 4 日 08:41

这个不会，元信息在 dm-meta 数据库中。

关于问题：请确认下其中的 id 是否为相同的数值？

[2020/06/03 21:08:29.706 +08:00] [ERROR] [db.go:272] [“execute statements failed after retry”] [task=rds1-1] [unit=“binlog replication”] [queries="[DELETE FROM rds-lecture_micro_db.principal_doctor WHERE id = ? LIMIT 1; REPLACE INTO rds-lecture_micro_db.principal_doctor (id,doctor_id,doctor_name,good_at,dept_id,dept_name,hos_id,hos_name,area_id,area_name,title,introduce,doctor_sitting,qrcode_url_ylsd,doctor_picture_url,created_by,created_date,last_modified_by,last_modified_date,enabled,account_id,modules,doctor_sort) VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?); DELETE FROM rds-lecture_micro_db.principal_doctor WHERE id = ? LIMIT 1; REPLACE INTO rds-lecture_micro_db.principal_doctor (id,doctor_id,doctor_name,good_at,dept_id,dept_name,hos_id,hos_name,area_id,area_name,title,introduce,doctor_sitting,qrcode_url_ylsd,doctor_picture_url,created_by,created_date,last_modified_by,last_modified_date,enabled,account_id,modules,doctor_sort) VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?); DELETE FROM rds-lecture_micro_db.`principal_doc…"] [arguments="[[2cbc9eb96cd1f291016cd1f648ab0082] [2cbc9eb96cd1f291016cd1f648ab0082 3732 李胜锋口腔外科门诊 SDSL2015 山东省立医院主治医师 1 https://mp.weixin.qq.com/cgi-bin/showqrcode?ticket=gQE88TwAAAAAAAAAAS5odHRwOi8vd2VpeGluLnFxLmNvbS9xLzAycjNPRGNpRldjTjMxMDAwMHcwN0sAAgTQXMZcAwQAAAAA https://static.shunnengnet.com/sdsl/doc/3732.jpg zjx91dz2dv 2019-08-27 15:24:34 15866736568 2020-06-03 19:27:06 1 lecture ] [8aaa72a06ecb38c3016ee96fd8bd003b] [8aaa72a06ecb38c3016ee96fd8bd003b 016027 刘晓明B 1100 77f82a60-5b88-4e79-a103-f7c38f25816b 山东省中医院主治医师 1 https://static.shunnengnet.com/szy/image/doc/016027.jpg middleware 2019-12-09 14:54:12 15866736568 2020-06-03 19:27:06 1 lecture ] [8aaa96946dfd2682016e163154440000] [8aaa96946dfd2682016e163154440000 016026 杨清峰老年内科疾病，特别是冠心病、高血压、慢支、慢阻肺、急、慢性胃炎、2型糖尿病、失眠等。 1100 内科杂症 77f82a60-5b88-4e79-a103-…"] [error="[code=10006:class=database:scope=not-set:level=high] execute statement failed: commit: Error 9007: Write conflict, txnStartTS=417120835249897516, conflictStartTS=417120835249897499, conflictCommitTS=417120835263004673, key={tableID=85512, handle=8} primary={tableID=68501, indexID=1, indexValues={2cbc9eb96cd1f291016cd1f648ab0082, }} [try again later]"]

snluyufu · 2020 年6 月 4 日 09:10

不确定