TiDB写入非常慢

磁盘应该没有异常,因为其他的任务都执行成功了,就这一个任务,每天都失败,很难排查到底什么原因。
硬件监控也没有问题。

看ioutil的监控,其他机器都挺低的,只有那一台打满了,如果那机器磁盘没问题,难到热点这么严重?

https://metricstool.pingcap.com/#backup-with-dev-tools 按此方式导出下overview/tidb/tikv detail/pd的监控快照,要展开所有面板,导出问题前和问题间的, 说明下问题时间

1 个赞

全部监控信息:tidb-test-Overview_2022-04-21T06_31_32.333Z.json (3.3 MB)
PD监控信息:tidb-test-TiKV-Details_2022-04-21T06_49_56.695Z.json (1.1 MB)

错误任务的执行和重试时间

辛苦大佬帮分析一下。

tidb/tikv detail/pd 每个监控都有独立页面,要把所有面板都展开后,才能导出

第一个问题:看 连接数 和 Command per seconds 有些不均衡;如果负载没问题的前提下,估计 IP99 和 IP98 的 CPU 频率有差距。或者倒数的时候接的单个 TiDB,没有用负载均衡,但看 tidb 的 CPU 调的都挺平均的(奇怪🤔)?
但应该与你想问的问题关系不大(非关键点)。

第二个问题:从这张图上看,raftstore 的压力不大,也就是数据处理交给 tikv 后,在 Raft 状态机的资源没怎么调起来(压力不大)也就是算的很快,但落到磁盘里慢不慢还看不出来。左侧反而是 coproceoosr 的查询压力很大。拍脑袋猜应该是磁盘的压力问题,需要新的信息进一步分析。

第三个问题:由于采集的时候,面板没打开导致几乎能用于分析的面板都看不见。只有 PD 分区能看…


有限的信息不足定位问题

tidb-test-TiDB_2022-04-26T05_36_43.658Z.json (5.4 MB)
烦请大佬再帮看看

感觉 TiKV 压力比较大,麻烦再传下 TiKV Details 和 Disk performance 的面板;

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。