为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
TIDB v5.2.3
DM v5.3.0
【概述】 场景 + 问题概述
2月1日凌晨4点脚本更新源库数据,但是dm的从库并没有更新。2月8日,通过使用这部分数据人员反馈缺失数据后排查,发现缺失一批数据
【背景】 做过哪些操作
建立同步任务后正常运行,任务无异常
【现象】 业务和数据库现象
收到问题反馈后,确定问题点。通过数据对比,发现存在大量数据存在未更新,未插入情况
对异常数据抽样跟踪对应时间点数据后,发现数据发生变更的时间点worker日志存在异常信息。
以下以异常样例数据为跟踪点:
完整数据平衡sql放在附录。
lastUpdateTime为2022-02-01 04:00:04
对应worker跟踪worker log,在时间点左右发生worker读取binlog未找到正确结尾EOF错误
elctw区间部分日志.log (35.5 KB)
完整前后日志文件放在附录
【问题】
此问题,检索binlog未遇到正常结束标识:get event err EOF
这个问题是否会与缺失数据有关,从完整日志可以看到有非常多这种错误。
若此日志记录的信息状态与缺失数据有关,怎么样才能避免产生。
若此日志记录的信息状态与缺失数据无关,那get event err EOF 是否会产生后续其他问题、缺失数据问题是什么原因导致的(如需再提供其他信息会尽可能提供)
【业务影响】
业务影响很大
【附件】
- 数据同步缺失sql:elctw_psnaccount数据同步缺失.txt (4.5 MB)
- 完整前后日志:dm-worker-2022-02-01T04-43-48.691.zip (5.5 MB)