lighting导入数据,某些表count(*)显示不正确

【 TiDB 使用环境】
tidb5.1
【概述】 场景 + 问题概述
通过dumpling导出,再lighting导入表数据时,某些表count()数据与实际行数不符,行数由36000变为63000,其他表count()为120000变为210000 执行analyze table 无效
【背景】 做过哪些操作
1.通过lighting 导入数据后对比数据时,发现某些表count(*)与实际行数不符,经过相关测试,发现为导出sql集内容具有重复,dumplog 没有发现任何报错。

2.利用insert 对表数据进行迁移至其他表后,count(*)结果正常。

3.通过local和Tidb两种导入模式的测试结果来看,使用Tidb事务模式具有唯一约束的表行数正常,不具有唯一约束的表行数同上。

4.手动删除sql文件重复数据后,进行导入,两种模式数据记录正常。

疑问:
因导出日志中没有发现任何报错,是否可以判定为导出bug?

对于日志报的checksum错误,为什么预定的kvs是72000而不是36000?
image

【命令】
导出:
dumpling -h192.168.1.41 -uroot -p root1234 -P4000 --filetype sql --logfile dumptb.log -B test -o /backup/dump
导入:
#!/bin/bash
nohup tidb-lightning -config tidb-lightning.toml > nohup.out &
配置文件参考附件
【相关截图】



f6cb811f88076fcb2d7ba542c1af03c 18a217ba8058f727a4d7b9e59c9639a fdcbd60615143824d1c3b3d6494b60c c5579d0a082818e51c037fb1daae550 9481d07236c5f550859d618aba4ef72 a38cc7f5724b00b47d9f2274019fc8a
【附件】
tidb-imp.log (56.3 KB) tidb-lightning.log (118.8 KB) tidb-lightning.toml (1.4 KB) dumptb.log (2.9 KB)


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1 个赞

请看下dumpling的版本

[root@tidb01 imp]# dumpling --version
Release version: v5.1.0
Git commit hash: 292cbe6c9da0f53a262332d7711dd6ba96567411
Git branch: heads/refs/tags/v5.1.0
Build timestamp: 2021-06-24 07:09:21Z
Go version: go version go1.16.4 linux/amd64

是否以为gc原因导致版本不一致

GC保留参数调到了24小时,并且导出时间就几十秒,整个导入导出操作时间在24小时内,操作为exp database,drop database,imp database,需要调整GC相关参数吗?

那不需要 如果这些都确定,可以去提bug

好的,谢谢。

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。