使用tidb-lightning导入数据时,报错:tidb lightning encountered error: [Lightning:Checkpoint:ErrInvalidCheckpoint]config 'mydumper.data-source-dir' value 'file:///tj_data_backup/idx_backup/idx.sstj_idx_es_info_owner' different from checkpoint value

【 TiDB 使用环境】生产环境
【 TiDB 版本】v6.5.0
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】使用tidb-lightning导入数据时,报错:**tidb lightning encountered error: [Lightning:Checkpoint:ErrInvalidCheckpoint]config 'mydumper.data-source-dir' value 'file:///tj_data_backup/idx_backup/idx.sstj_idx_es_info_owner' different from checkpoint value 'file:///tj_data_backup/idx_backup/idx.sstj_idx_es_sunac_crm_butler_grid'. You may set 'check-requirements = false' to skip this check or delete the file '/tmp/tidb_lightning_checkpoint.pb' and remove all restored tables and try again**

导入时,指定的data-source-dir为:/tj_data_backup/idx_backup/idx.sstj_idx_es_info_owner,没有问题,却报上面的信息。
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

这个机器像是之前运行过lightning,且异常退出,留下了checkpoint信息。导致这次导入不成功。

delete the file '/tmp/tidb_lightning_checkpoint.pb' and remove all restored tables and try again

如果是空库用lightning初始化的话,可以按照这个提示来处理。
把checkpoint文件和之前导入的表全部清了,重新导入。
当然如果不是空库初始化就算了,代价有点大,动作也有点危险。

问题原因已经找到:
1.是因为使用tidb-lighnting同时导入多张表时,其中,有一张表出现问题,后续的其他表时间导入时,还会调用上一个中的mydumper.data-source-dir,导致校验不通过。
2.解决办法:找到中断出问题的那张表,单独处理,再导入其他表。
3. 删除文件:/tmp/tidb_lightning_checkpoint.pb。

好习惯,看了好多问题,最后都不知道乍解决的。

自己标记一下已解决

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。