tidb-lightning导入数据报错

🪐 TiDB 技术问题
1

tidb-lightning导入数据报错，错误信息如下

TiDB Lightning has detected tables with illegal checkpoints. To prevent data loss, this run will stop now,please run command "./tidb-lightning-ctl --checkpoint-remove=‘base.t_dcg_potential_customer’ --config=…"You may also run ./tidb-lightning-ctl --checkpoint-error-destroy=all --config=... to start from scratch,For details of this failure, read the log file from the PREVIOUS run

2

按照提示的解决方案是碰到问题了？

3

tidb-lightning-ctl --checkpoint-error-destroy=all --config=，采用这个方式，没解决
tidb-lightning-ctl --checkpoint-error-destroy=all --config=/app/tidb/tidb-lightning.toml，运行该命令，在tidb-lightning -config=/app/tidb/tidb-lightning.toml，还是报一样的错误

4

一般来说是上次导入断了，就有这个checkpoint文件存在，做断点续传的。

而illegal checkpoints，说明导入的文件内容变化了，所以原来的断点续传的记录的位置没法用了。

–checkpoint-error-destroy=all就是用来删除这个checkpoint文件用的。

如果运行失败，我感觉是不是tidb-lightning.toml这个文件也改过什么。看看里面设置的checkpoint文件的位置在哪里，去手动删了也行。

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-checkpoints#断点续传的启用与配置

5

配置文件如下
[lightning]
level = “info”
file = “tidb-lightning.log2”
check-requirements = true
region-concurrency = 4

[mydumper]
data-source-dir = “/app/tidb/base”

[tikv-importer]
backend = “local”
sorted-kv-dir = “/app/sortkv”

[tidb]
host = “10.201.14.5”
port = 4000
status-port = 10080

pd-server 的地址，填一个即可。

pd-addr = “10.201.14.5:2379”
user = “root”
password = “xx”
log-level = “error”

[cron]

TiDB Lightning 自动刷新导入模式状态的持续时间，该值应小于 TiKV 对应的设定值。

switch-mode = “5m”

在日志中打印导入进度的持续时间。

log-progress = “5m”

6

配置文件没改动过

7

清除已经导入的数据，重新导一次这种能接受吗？如果可以的话，不用 ctl 命令，手动清除一下相关的信息： drop database lightning_task_info; rm /tmp/*.pb; 以及已经导入的数据

1 个赞
8

可以，我删除了导入的库，重新导入，也不行

9

没清理tpm目录下的，在试试

10

这个问题解决了吗？什么原因呢