tidb-lightning 导入非常慢

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0.7
  • 【问题描述】:使用tidb-lightning 导入Dumpling 全量的20G数据,非常慢,导入到的机器是48核180G的3台组成的tidb 集群,3个pd,3个tidb,3个tikv组件,有什么方式能加快导入速度吗?
    如下是我的导入配置
[lightning]
# 日志
level = "info"
file = "tidb-lightning.log"

[tikv-importer]
# backend 设置为 local 模式
backend = "local"
# 设置本地临时存储路径
sorted-kv-dir = "/data1/sorted-kv-dir"

[mydumper]
# Mydumper 源数据目录。
data-source-dir = "/data1/tidb_test"

[tidb]
# 目标集群的信息。tidb-server 的监听地址,填一个即可。
host = "xxx"
port = 4000
user = "root"
password = "xxxx"
# 表架构信息在从 TiDB 的“状态端口”获取。
status-port = 10080

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

问一下,这里说的慢是指多久?应该十几分钟就能完成吧,
另外可以安装下面几个点进行考虑导入速度提升:
1、 建议盘是 SSD
2、导出的文件尽量进行拆分
3、可以修改配置文件,把checksum 、analyze 功能关闭,导入后,手动进行
4、如果还慢,可以考虑增加一下如下几个参数的并发

hi, 请问数据源文件是什么格式呢,然后一共有几个源文件