tiup tidb-lightning 导入数据报错

[TiDBer_aZrsY0ca]

【 TiDB 使用环境】生产环境 V7.1/测试 V7.4/ Poc
【 TiDB 版本】
【复现路径】通过tiup dumpling 备份生产环境的数据后拷贝出来进行导入v7.4的测试服务器，用tiup tidb-lightning导入
【遇到的问题：问题现象及影响】
导入后表结构全部导入，数据提示：[ERROR] [import.go:558] [“run failed”] [step=2] [error="[Lightning:PreCheck:ErrPreCheckFailed]tidb-lightning pre-check failed: TiDB Lightning has detected tables with illegal checkpoints. To prevent data loss, this run will stop now,please run command "./tidb-lightning-ctl --checkpoint-remove=‘jknew.dst_attch’ ，不只是这个表，全部表都是这个提示。
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面

【附件：截图/日志/监控】

按照要求进行过清理：

[Miracle]

lighting的配置文件发一下
另外dumpling的时候有报错吗

[TiDBer_aZrsY0ca]

[lightning]

日志

level = “info”
file = “tidb-lightning.log”
region-concurrency = 1
io-concurrency = 5

[tikv-importer]

“local”：默认使用该模式，适用于 TB 级以上大数据量，但导入期间下游 TiDB 无法对外提供服务。

“tidb”：TB 级以下数据量也可以采用 tidb 后端模式，下游 TiDB 可正常提供服务。关于后端模式更多信息请参阅：https://docs.pingcap.com/tidb/stable/tidb-lightning-backends

backend = “local”

设置排序的键值对的临时存放地址，目标路径必须是一个空目录，目录空间须大于待导入数据集的大小。建议设为与 data-source-dir 不同的磁盘目录并使用闪存介质，独占 IO 会获得更好的导入性能

sorted-kv-dir = “/work/tiup/tidblightning”

[mydumper]

源数据目录，即第 1 步中 Dumpling 保存数据的路径。

data-source-dir = “/work/tiup/2023111423” # 本地或 S3 路径，例如：‘s3://my-bucket/sql-backup’
filter = [‘.’, ‘!mysql.', '!sys.’, ‘!INFORMATION_SCHEMA.', '!PERFORMANCE_SCHEMA.’, ‘!METRICS_SCHEMA.', '!INSPECTION_SCHEMA.’]

[tidb]

目标集群的信息

host=“192.168.9.116” # 例如：172.16.32.1
port = 4000 # 例如：4000
user =“root” # 例如：“root”
password =“dst@123” # 例如：“rootroot”
status-port = 10080 # 导入过程 Lightning 需要在从 TiDB 的“状态端口”获取表结构信息，例如：10080
pd-addr =“192.168.9.116:2379” # 集群 PD 的地址，Lightning 通过 PD 获取部分信息，例如 172.16.31.3:2379。当 backend = “local” 时 status-port 和 pd-addr 必须正确填写，否则导入将出现异常。
导出没有报错

[有猫万事足]

@TiDBer_aZrsY0ca

TiDB Lightning has detected tables with illegal checkpoints.

这一般是上一次导入失败的checkpoint没有清理造成的。

你的配置文件里面应该有这个配置。

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-checkpoints#tidb-lightning-断点续传

把原来的checkpoint清除掉就好了。

[TiDBer_aZrsY0ca]

是这样加入么，还是报错一样的错误

[Miracle]

加个–checkpoint-remove=all 这个试试

[TiDBer_aZrsY0ca]

在配置里面加入？

这样？

[Miracle]

调用lightning的时候加–checkpoint-remove=all
tidb-lightning-ctl --checkpoint-remove=all … 这样

[TiDBer_aZrsY0ca]

执行了的，执行这个方法报错

[Miracle]

./tidb-lightning-ctl --config /work/tiup/tidb-lightning.toml --checkpoint-error-destroy=all --checkpoint-remove=all

[胡杨树旁]

ghtning 会生成一个checkpoint 文件 ，如果没有设置路径的话默认在/tmp下，一个已pb 结尾的文件，删除了重新启动试下

[dba远航 (Ti D Ber M Lo7 Bqhk)]

这个有道理，附议

[TiDBer_aZrsY0ca]

嗯这个方法处理有效谢谢