dm同步缺失部分数据及异常

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
TIDB v5.2.3


DM v5.3.0

【概述】 场景 + 问题概述
2月1日凌晨4点脚本更新源库数据,但是dm的从库并没有更新。2月8日,通过使用这部分数据人员反馈缺失数据后排查,发现缺失一批数据

【背景】 做过哪些操作
建立同步任务后正常运行,任务无异常


【现象】 业务和数据库现象
收到问题反馈后,确定问题点。通过数据对比,发现存在大量数据存在未更新,未插入情况

对异常数据抽样跟踪对应时间点数据后,发现数据发生变更的时间点worker日志存在异常信息。

以下以异常样例数据为跟踪点:

完整数据平衡sql放在附录。

lastUpdateTime为2022-02-01 04:00:04

对应worker跟踪worker log,在时间点左右发生worker读取binlog未找到正确结尾EOF错误
elctw区间部分日志.log (35.5 KB)

完整前后日志文件放在附录

【问题】
此问题,检索binlog未遇到正常结束标识:get event err EOF
这个问题是否会与缺失数据有关,从完整日志可以看到有非常多这种错误。
若此日志记录的信息状态与缺失数据有关,怎么样才能避免产生。
若此日志记录的信息状态与缺失数据无关,那get event err EOF 是否会产生后续其他问题、缺失数据问题是什么原因导致的(如需再提供其他信息会尽可能提供)

【业务影响】
业务影响很大

【附件】

看下当时的源数据库的日志情况

请问上游的数据源MySQL是怎么导入数据的?重新导入能复现丢失的情况吗?

生产环境,不能重复操作的:cold_sweat:导入数据是通过线上服务定时任务运算后,将数据入库

这可能触发了一个已知的BUG,可以尝试下面的方法:
1、在可接受的情况下使用 binlog 位置复制 (enable-gtid: false)。或者
2、启用中继日志

目前这个bug什么时候可以发版修复呢:joy:

预计 DM v5.3.1, v5.4.0

新版本已经发布了

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。