lightning导入sql日志checksum不一致

🪐 TiDB 技术问题 备份&数据迁移
1

【 TiDB 使用环境`】生产环境
【 TiDB 版本】v5.4.1
【遇到的问题】lightning导入sql文件日志里显示checksum报错
【复现路径】
1、在3.0.8适用dumplingv5.4.0导出数据（sql模式）
2、lightning指定dumpling目录，将sql文件导入到v5.4.1新集群当中(lightning5.4.0)
【问题现象及影响】
下游并没有该表
checksum结果不一致
日志：
error=“checksum: mismatched remote vs local => (checksum: 4601569717304146001 vs 3003714860105671480) (total_kvs: 6442057882 vs 6442057914) (total_bytes: 659445170496 vs 659445174266)”

2

你用mysqldump导

3

我当晚执行了两个导入，第一个就没有问题

4

执行导入，第一个没有问题是啥意思？checksum mismatched 有可能是一些数据冲突造成的（比如重复的 key 之类的）

不妨参考一下这篇文档：https://docs.pingcap.com/zh/tidb/stable/troubleshoot-tidb-lightning#checksum-failed-checksum-mismatched-remote-vs-local

5

确实是有重复的key，这个重复的原因具体该怎么排查呢，然后重复的话它真实数据是不是没问题，只是checksum时候出错?

6

有可能您的原始数据就有重复，或者导入之前表里本来就存在数据（增量导入模式）。

可以了解一下 lightning 的错误处理功能，他能帮您定位错误的行，以及跳过一些错误：https://docs.pingcap.com/zh/tidb/v5.4/tidb-lightning-error-resolution

7

checksum 出现问题说明要么是导入过程有问题（网络原因，有些键值没有传过去），要么是导入的数据违背了 schema 的 integrity（比如唯一键索引出现两个相同的索引值）。这种数据应该被视作是无法生产使用的。

8

checksum 有问题说明数据导入就是不正确的 相当于是md5校验

9

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。