tidb 突然抖动 sql变慢了

Billdi表弟 · 2024 年6 月 5 日 06:18

【 TiDB 使用环境】prod
【 TiDB 版本】 v7.5.0
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】突然很慢很卡sql执行耗时变高，监控显示cpu，memory, io 都很正常.
【资源配置】

【附件：截图/日志/监控】

tidb狂热爱好者 · 2024 年6 月 5 日 06:20

感觉你的盘不行 65m就挂了

tidb狂热爱好者 · 2024 年6 月 5 日 06:21

tikv 用了4核心 tidb也用了4核心 cpu满了你这是stg环境吧

像风一样的男子 · 2024 年6 月 5 日 06:25

你这服务器资源配置怎么参差不齐啊，强迫症看着难受。

lemonade010 · 2024 年6 月 5 日 06:27

资源打满了吧，TSO wait 都 1.02S了

Billdi表弟 · 2024 年6 月 5 日 06:32

资源没有打满

Billdi表弟 · 2024 年6 月 5 日 06:33

就只有一个tikv低一些。

Billdi表弟 · 2024 年6 月 5 日 06:33

大佬，没有打满

WalterWj · 2024 年6 月 5 日 06:43

看下 1.50 左右的 top SQL ，看看呢。

Billdi表弟 · 2024 年6 月 5 日 06:55

感觉这块io突降了，奇怪

Billdi表弟 · 2024 年6 月 5 日 07:17

tidb的监控有点不太一致

有猫万事足 · 2024 年6 月 5 日 07:33

这还不是很离谱的地方，tso_wait就已经有1.02s.这高的不可忍受了。正常应该再100ms一下。秒级的tso，按我的经验ping一下pd leader可能有个100+ms的延迟了。pd leader意外切换之后跨子网了？

lemonade010 · 2024 年6 月 5 日 07:51

比较赞同楼上的观点，TSO 都1.02S了，肯定PD是有问题了，还有你看下你负载高的时候是不是 connect count 也突然变高了，就是并发高了，查询语句变多了

TIDB-Learner · 2024 年6 月 6 日 00:19

看这你的资源尤其内存利用率高。

迪迦奥特曼 · 2024 年6 月 6 日 00:45

看下performance overview/read/write相关的监控

TiDBer_H5NdJb5Q · 2024 年6 月 6 日 01:38

看看系统监控有没有其他服务在抢占资源