Dumpling导出数据有丢失

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【TiDB 版本】
TiDB v4.0.11

Dumpling
Release version: v4.0.11
Git commit hash: 5e6981efa173ff525abb31c6e62a50ecd6da6a09
Git branch: heads/refs/tags/v4.0.11
Build timestamp: 2021-02-25 04:41:03Z
Go version: go version go1.13 linux/amd64

【问题描述】

通过 Dumpling工具导出的表数据与原表数据总数对不上

表为分区表


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1.麻烦先检查下表上的索引和数据是否有问题:ADMIN CHECK TABLE tbl_name ;
2.若上面查询出来的结果无报错,可以考虑 dumpling 导出一个指定快照的数据,这样对比起来更准确点,快照时间可以通过你上面 select count(*),now() 方式获取到,但注意快照时间在 GC 时间内,参考下:
https://docs.pingcap.com/zh/tidb/stable/dumpling-overview#导出-tidb-的历史数据快照

1.跑ADMIN CHECK TABLE无报错
2.通过指定tidb_snapshot和dumpling --snapshot参数方式导出对比,还是不一致(企业群内部也有小伙伴一起在帮忙看问题 ,后续有解决方案同步到这里)

请问有进展了吗?

目前官方小伙伴们还没有查到问题,试过用mydumper导出数据是正常的,dumpling导出则有部分丢失

通过官方小伙伴确认是个bug,会在下一个版本进行修复,目前监时解决办法是通过set tidb_enable_index_merge=false来处理

好的,多谢。

具体信息参考
https://github.com/pingcap/tidb/issues/23569

非常感谢

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。