lightning导入慢,日志有很多warning信息

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【概述】
用lightning导入csv数据,每秒只有30M的速度,日志提示[“write to tikv failed”] [error=EOF] & [“ingest failed”] [error=“rpc error: code = Unavailable desc = transport is closing”]
【备份和数据迁移策略逻辑】

【现象】 业务和数据库现象
目标端TiDB/KV负载很轻
【问题】 当前遇到的问题
用lightning导入csv数据,每秒只有30M的速度,日志提示[“write to tikv failed”] [error=EOF] & [“ingest failed”] [error=“rpc error: code = Unavailable desc = transport is closing”]

【TiDB 版本】
v4.0.8


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

目标端TiDB负载:

麻烦确认一下 TiKV 相关日志是否正常。Lightning 导入最终是成功 ?还是失败了 ?以结果为准,如果是 warn 相关的,如果重试没有报错,其实可以先忽略。

测试下来应该跟网络带宽有关系,换一个机器后速度有所提示,但现在有三个kv节点down掉了,提示:

[FATAL] [lib.rs:483] ["[region 286168] 295608 ingest uuid: 9687638575D94066801CFC645C41F8AD range { start: 7480000000000000FF465F728000002BD7FFB84CCF0000000000FA end: 7480000000000000FF465F728000002BD7FF
BB14FD0000000000FA } cf_name: “write” region_id: 286168 region_epoch { conf_ver: 203 version: 12567 }: RocksDB(“read metadata from /data2/data/import/96876385-75d9-4066-801c-fc645c41f8ad_286168_203_12567_write.sst: Os { code: 2, kind
: NotFound, message: \“No such file or directory\” }”)"] [backtrace="stack backtrace:\ 0: tikv_util::set_panic_hook::{{closure}}\ at components/tikv_util/src/lib.rs:482\ 1: std::panicking::rust_panic_with_hook\
at src/libstd/panicking.rs:475\ 2: rust_begin_unwind\ at src/libstd/panicking.rs:375\ 3: std::panicking::begin_panic_fmt\ at src/libstd/panicking.rs:326\

现在down掉的KV节点无法起来,是要下线吗?

执行tiup cluster scale-in ali-yxt-rpt-center --node 172.29.1.20:20161 后处于offline pending状态

整个集群挂掉了,报:[ERROR] [transport.rs:163] [“send raft msg err”] [err=“Other(”[src/server/raft_client.rs:208]: RaftClient send fail")"]

看 tikv 日志,看看起不来的原因是什么,估计得参考这个 进行修复了https://book.tidb.io/session3/chapter5/recover-quorum.html

另外,建议升下级,具体版本得需要确认一下,这个问题高版本是修复了

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。