lightning导入sql日志checksum不一致

【 TiDB 使用环境`】生产环境
【 TiDB 版本】v5.4.1
【遇到的问题】lightning导入sql文件日志里显示checksum报错
【复现路径】
1、在3.0.8适用dumplingv5.4.0导出数据(sql模式)
2、lightning指定dumpling目录,将sql文件导入到v5.4.1新集群当中(lightning5.4.0)
【问题现象及影响】
下游并没有该表
checksum结果不一致
日志:
error=“checksum: mismatched remote vs local => (checksum: 4601569717304146001 vs 3003714860105671480) (total_kvs: 6442057882 vs 6442057914) (total_bytes: 659445170496 vs 659445174266)”

你用mysqldump导

我当晚执行了两个导入,第一个就没有问题

执行导入,第一个没有问题是啥意思?checksum mismatched 有可能是一些数据冲突造成的(比如重复的 key 之类的)

不妨参考一下这篇文档:https://docs.pingcap.com/zh/tidb/stable/troubleshoot-tidb-lightning#checksum-failed-checksum-mismatched-remote-vs-local

确实是有重复的key,这个重复的原因具体该怎么排查呢,然后重复的话它真实数据是不是没问题,只是checksum时候出错?

有可能您的原始数据就有重复,或者导入之前表里本来就存在数据(增量导入模式)。

可以了解一下 lightning 的错误处理功能,他能帮您定位错误的行,以及跳过一些错误:https://docs.pingcap.com/zh/tidb/v5.4/tidb-lightning-error-resolution

checksum 出现问题说明要么是导入过程有问题(网络原因,有些键值没有传过去),要么是导入的数据违背了 schema 的 integrity(比如唯一键索引出现两个相同的索引值)。这种数据应该被视作是无法生产使用的。

checksum 有问题说明数据导入就是不正确的 相当于是md5校验

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。