使用lighting导入csv文件,速度慢

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【TiDB 版本】
v5.0.2

【概述】 场景 + 问题概述
由于表中已有数据,使用的是tidb-backend模式,一个小时不到10G

lighting.toml的配置文件如下:
[lightning]
level = “info”
file = “/opt/ssd/tidb/tidb-lightning-log/tidb-lightning-csv.log”

[tikv-importer]
backend = “tidb”
sorted-kv-dir = “/opt/ssd/tidb/sorted-kv-dir”

[mydumper]
data-source-dir = “/opt/ssd/tidb/dump-data-1”
no-schema = true

[mydumper.csv]
separator = ‘,’
delimiter = ‘"’
header = true
not-null = false
null = ‘\N’
backslash-escape = true
trim-last-separator = false

[tidb]
host = “172.17.******”
port = 4000
user = “******”
password = ********
status-port = 10080
pd-addr = “172.17.******”

1 个赞

可以参阅一下官方文档
https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-faq#tidb-lightning-导入速度太慢

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。