Lightning 如何提高导入速度？

🪐 TiDB 技术问题 K8s
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：4.0.6
  • 【问题描述】：500G数据通过 Dumpling 出来，机器性能很好，如何设置 TiDB Lightning参数提高导入速度？最大值的设置

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

2

目前 Lightnig 支持三种 backend 模式的导入：

[tikv-importer]
# 选择后端：“importer” 或 “local” 或 “tidb”
# backend = "importer"

导入速度最快的是 importer 模式

3

除了设置这个还需要设置别的参数吗？能否给一个完整的速度最快的导入配置tidb-lightning.toml参考下？谢谢

4

如果设置了 importer 模式导入，那会最大限度的利用机器资源，可以参考官方文档提供的配置文件模板，修改对应的导入模式，导入路径，目标端信息即可
https://docs.pingcap.com/zh/tidb/dev/tidb-lightning-configuration

5

使用Lightning 导入500G数据，导入到一半，卡主，无任何反应，日志也是没有，tidb processlist 看进程是2个sleep 状态，请问需要从哪些方面排查？

6

确认一下下游的导入的表是否数据还在持续写入，Log 里面显示的进度是每导入一个 file 文件会显示进度。另外如果使用 importer 的模式，确认一下 importer 和 lightning log 有其他的异常。