使用 tidb-lightning 导数据出错

[airzhe]

问题描述】：使用 tidb-lightning 导数据提示：

[2020/09/11 17:37:37.173 +08:00] [INFO] [local.go:769] [“There is no pairs in iterator”] [start=“dIAAAAAAAAA1X3KAAAAAABEuiQ==”] [end=“dIAAAAAAAAA1X3KAAAAAABm6xg==”] [“next end”=“dIAAAAAAAAA1X3KAAAAAABm6xw==”]

是和 backend = ”local“ 有关么？配置如下

[tikv-importer]
backend = “local”
sorted-kv-dir = “/tmp/sorted-kv-dir”

帮忙看下吧，导数据花了两个小时呢

[Lucien]

@airzhe

是和 backend = ”local“ 有关么？配置如下

有关系，目前 Lightning 支持 3 种导入模式，现在选择的这个模式，和 Loader 导入相似，需要从TiDB server 做一次解析的。所以会比较慢。

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-backends#如何选择后端模式

如何选择后端模式
如果导入的目标集群为 v4.0 或以上版本，请优先考虑使用 Local-backend 模式。Local-backend 部署更简单并且性能也较其他两个模式更高
如果目标集群为 v3.x 或以下，则建议使用 Importer-backend 模式
如果需要导入的集群为生产环境线上集群，或需要导入的表中已包含有数据，则最好使用 TiDB-backend 模式

[airzhe]

我使用的就是 Local-backend 模式，在 /tmp/sorted-kv-dir 目录下生成了大量的 .sst 文件 生成过程一个小时。

现在报的这个错误是 ”There is no pairs in iterator” 是导入这些 .sst 文件时候发生错误了么？

[airzhe]

目前发现和工具版本有关系，用 4.0.5 再观察下

[Lucien]

There is no pairs in iterator

这个是一个 info log 可以忽略，这个提示的意思是说导入后，split range 是空数据，所以提示这个日志。其实没有影响。