lightning 恢复数据报错 `import and cleanup engine failed`

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0.5
  • 【问题描述】:
    通过 tidb-lightning v4.0.5 恢复 v3.0.7 mydumper 备份的数据到 v4.0.5 的集群中,有 2 个 ERROR 报错

第一个:
the ranges is empty

第二个:
import and cleanup failed

tidb-lightning.toml 文件

[lightning] 
# 转换数据的并发数,默认为逻辑 CPU 数量,不需要配置。 
# 混合部署的情况下可以配置为逻辑 CPU 的 75% 大小。 
# region-concurrency = 
# 日志 
level = "info" 
file = "tidb-lightning.log" 

[tikv-importer] 
# backend 设置为 local 模式 
backend = "local" 
# 设置本地临时存储路径 
sorted-kv-dir = "/data/tmpdir" 

[mydumper] 
# Mydumper 源数据⽬录。 
data-source-dir = "/data/0910.bak" 

[tidb] 
#目标集群的信息。tidb-server 的监听地址,填1个即可。 
host = "127.0.0.1" 
port = 4000 
user = "root" 
password = "" 
# 表架构信息在从 TiDB 的“状态端⼝”获取。 
status-port = 10080

而且 sql 文件总 30G 大小,恢复了5个小时还没完。
感谢~

你好,导入速度比较慢可以参考下官网故障诊断自行排查一下。
调整后若仍是比较慢,辛苦反馈下完整的 lightning 日志,我们协助分析下。感谢。
另外确认下下游 TiDB 集群当前拓扑以及当前状态是否正常。

您好,那些报错是什么原因呢? 感谢~

是否对导入有有影响吗,如果没有可以先忽略。

检查下 tikv 和 pd 的状态。

日志里面看到的错误几条错误日志都是可重试的错误,应该不影响正确性。关于导入很慢这个问题,请问导出的数据大概有多少 sql 文件呢,目前针对单一的大 sql 文件还无法并行导入,如果单个 sql 很大的话,执行性能确实不太好,可以考虑先手动吧 sql 切分成多个文件,导入速度会快很多,如果并发比较理想的话,应该导入 30G 大小的数据,10分钟以内就应该可以完成

好的。报错当时没有保存环境。后来又经过尝试已经正常了。感谢~

:+1: