tidb 3.1 写入慢,磁盘IO上不去

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v3.1.0
  • 【问题描述】:tidb 高并发写入,感觉tikv 写入慢,磁盘IO上不去
    集群架构: 2 tidb 3 pd 3 tikv
    节点配置: 256G RAM / 40 VCores / 4T 做的RAID 5
    tikv配置

tikv.txt (31.6 KB)

tidb配置
tidb.txt (9.1 KB)





若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

麻烦先发一下 over-view ,tidb 和 trouble-shooting 中的 slow write 监控信息,多谢。

(1)、chrome 安装这个插件https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl

(2)、鼠标焦点置于 Dashboard 上,按 ?可显示所有快捷键,先按 d 再按 E 可将所有 Rows 的 Panels 打开,需等待一段时间待页面加载完成。

(3)、使用这个 full-page-screen-capture 插件进行截屏保存





PD TSO WAIT Duration好像是事务慢的主要原因,而且为什么呈驼峰状……

  1. 查看 duration 99在 1s多

  2. 查看 tikv 的 grpc duration 占用了 1s多

  3. 麻烦反馈 detail-tikv 下的 thread cpu 监控,多谢。

这两个截图都是后半部分吧? 好像没有thread cpu

麻烦时间段选择一致的,问题发生时的,和上面的时间段保持一致,这个时当前的时间,多谢