为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【概述】
用lightning导入csv数据,每秒只有30M的速度,日志提示[“write to tikv failed”] [error=EOF] & [“ingest failed”] [error=“rpc error: code = Unavailable desc = transport is closing”]
【备份和数据迁移策略逻辑】
【现象】 业务和数据库现象
目标端TiDB/KV负载很轻
【问题】 当前遇到的问题
用lightning导入csv数据,每秒只有30M的速度,日志提示[“write to tikv failed”] [error=EOF] & [“ingest failed”] [error=“rpc error: code = Unavailable desc = transport is closing”]
【TiDB 版本】
v4.0.8
若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。
Lucien
( Lucien)
4
麻烦确认一下 TiKV 相关日志是否正常。Lightning 导入最终是成功 ?还是失败了 ?以结果为准,如果是 warn 相关的,如果重试没有报错,其实可以先忽略。
测试下来应该跟网络带宽有关系,换一个机器后速度有所提示,但现在有三个kv节点down掉了,提示:
[FATAL] [lib.rs:483] ["[region 286168] 295608 ingest uuid: 9687638575D94066801CFC645C41F8AD range { start: 7480000000000000FF465F728000002BD7FFB84CCF0000000000FA end: 7480000000000000FF465F728000002BD7FF
BB14FD0000000000FA } cf_name: “write” region_id: 286168 region_epoch { conf_ver: 203 version: 12567 }: RocksDB(“read metadata from /data2/data/import/96876385-75d9-4066-801c-fc645c41f8ad_286168_203_12567_write.sst: Os { code: 2, kind
: NotFound, message: \“No such file or directory\” }”)"] [backtrace="stack backtrace:\
0: tikv_util::set_panic_hook::{{closure}}\
at components/tikv_util/src/lib.rs:482\
1: std::panicking::rust_panic_with_hook\
at src/libstd/panicking.rs:475\
2: rust_begin_unwind\
at src/libstd/panicking.rs:375\
3: std::panicking::begin_panic_fmt\
at src/libstd/panicking.rs:326\
执行tiup cluster scale-in ali-yxt-rpt-center --node 172.29.1.20:20161 后处于offline pending状态
整个集群挂掉了,报:[ERROR] [transport.rs:163] [“send raft msg err”] [err=“Other(”[src/server/raft_client.rs:208]: RaftClient send fail")"]
spc_monkey
(carry@pingcap.com)
9
看 tikv 日志,看看起不来的原因是什么,估计得参考这个 进行修复了https://book.tidb.io/session3/chapter5/recover-quorum.html
spc_monkey
(carry@pingcap.com)
10
另外,建议升下级,具体版本得需要确认一下,这个问题高版本是修复了
system
(system)
关闭
11
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。