TiDB Lightning导入csv文件,日志一直打印 addRecord ...

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】

【概述】 场景 + 问题概述
想使用TiDB Lighting导入csv文件到库中,数据量大概12G,分为3个文件。

【问题】 当前遇到的问题
lignthing部署在216上,我用小数据量导入成功后,然后换成大数据量的文件,结果日志一直写入
addRecord key=xxxxx,很多就521M,已经生成10来个了。
【TiDB 版本】
V5.3

【我的配置】

[lightning]
check-requirements = false
# 转换数据的并发数,默认为逻辑 CPU 数量,不需要配置。
# 混合部署的情况下可以配置为逻辑 CPU 的 75% 大小。
region-concurrency = 4
# 日志
level = "debug"
file = "tidb-lightning.log"

[tikv-importer]
# 选择使用的 local 后端
backend = "local"
# 设置排序的键值对的临时存放地址,目标路径需要是一个空目录
sorted-kv-dir = "/home/tidb/sorted-kv-dir"
# sorted-kv-dir = "/home/tidb/sorted-kv-dir1"


[checkpoint]
# 启用断点续传
# # 导入数据时,TiDB Lightning 会记录当前表导入的进度
# # 若 TiDB Lightning 或其他组件异常退出,在重启时也可以避免重复再导入已完成的数据
enable = false

[mydumper]
# 源数据目录。
data-source-dir = "/opt/testdata"
# data-source-dir = "/home/tidb/testdata"
no-schema = false

# 配置通配符规则,默认规则会过滤 mysql、sys、INFORMATION_SCHEMA、PERFORMANCE_SCHEMA、METRICS_SCHEMA、INSPECTION_SCHEMA 系统数据库下的所有表
# 若不配置该项,导入系统表时会出现“找不到 schema”的异常
filter = ['*.*', '!mysql.*', '!sys.*', '!INFORMATION_SCHEMA.*', '!PERFORMANCE_SCHEMA.*', '!METRICS_SCHEMA.*', '!INSPECTION_SCHEMA.*']

# 配置 CSV 文件的解析方式。
[mydumper.csv]
# 字段分隔符,支持一个或多个字符,默认值为 ','。
separator = ','
# 引用定界符,设置为空表示字符串未加引号。
delimiter = '"'
# 行尾定界字符,支持一个或多个字符。设置为空(默认值)表示 "\
"(换行)和 "\r\
" (回车+换行),均表示行尾。
terminator = ""
# CSV 文件是否包含表头。
# 如果 header = true,将跳过首行。
header = false
# CSV 文件是否包含 NULL。
# 如果 not-null = true,CSV 所有列都不能解析为 NULL。
not-null = false
# 如果 not-null = false(即 CSV 可以包含 NULL),
# 为以下值的字段将会被解析为 NULL。
null = '\N'
# 是否对字段内“\“进行转义
backslash-escape = true
# 如果有行以分隔符结尾,删除尾部分隔符。
trim-last-separator = false


[tidb]
# 目标集群的信息
host = "10.64.200.216"
port = 4000
user = "root"
password = ""
# 表架构信息在从 TiDB 的“状态端口”获取。
status-port = 10080
# 集群 pd 的地址
pd-addr = "10.64.200.216:2379"

【csv文件】

【checksum】

【日志文件】

可以调整一下日志等级,不要记录debug级别的,可以设置成info级别的,输出会少很多。

level = "info"

已调整,但是感觉好慢

感觉慢的话,可以根据这里检查一下:https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-faq#tidb-lightning-导入速度太慢

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。