为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
【TiDB 版本】:3.0.5
【问题描述】:
tidb在使用dsg导入数据过程中应用软件报 unable to commit against jdbc connection 错误
tidb.log 报
[“tikv reports ServerIsBusy
retry later”] [reason=“scheduler is busy”]
[region_cache.go:393] [“switch region peer to next due to send request fail”]
等大量错误
7min.rar (131.7 KB) tidb.log
7mkv.log (148.9 KB) kv.log
谢谢
你好,现在已经知道是dsg写入导致的scheduler is busy 报错,那么要如何改进才能提高kv的吞吐避免这个报错呢?现在硬盘的配置是nvme2.0、 32核cpu、256g内存 。
以下是kv的参数,都是默认值
scheduler-worker-pool-size = 8
scheduler-pending-write-threshold = “100MiB”
store-pool-size
= 2
apply-pool-size
= 2
raft-max-inflight-msgs = 256
谢谢
文档中有相关的的参数设置
[storage] scheduler-pending-write-threshold = “100MB”
可以先查看一下 TiKV 节点的 IO/内存/load/网络资源是否还有剩余,如果有剩余,可以将这个参数调整大一些再观察一下,如果系统资源已经达到瓶颈,可以考虑减小 dsg 导入数据的并发度,减小写入压力
wfxxh
(倔强的蜗牛)
2021 年8 月 2 日 07:27
5
以下是截取的部分日志
tidb.log (5.0 KB)
tikv.log (2.2 KB)
HI ~ 这个帖子实践较为久远了。能否重新创建一个新的 帖子,我们一起看一下?
system
(system)
关闭
2022 年10 月 31 日 19:07
8
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。