pd leader cpu负载高

wfxxh · 2023 年1 月 29 日 10:55

【 TiDB 使用环境】生产环境
【 TiDB 版本】v5.4.3
【遇到的问题：问题现象及影响】pd leader 每天不定时cpu高负载
【资源配置】48核、256G、(3T nvme) * 2

数据冷存节点，平时基本没有任何访问量，每次监控上的高负载，已经确定都是pd导致。

pd.log (790.0 KB)

h5n1 · 2023 年1 月 29 日 12:53

看下pd页面的监控

我是咖啡哥 · 2023 年1 月 30 日 01:51

从日志看，基本都是写热点region调度。是不是某个表写热点比较严重，导致pd频繁调度。
[operator=""move-hot-write-peer {mv peer: store [15] to [274433474]}

wfxxh · 2023 年2 月 6 日 00:24

时间上对不上啊。

yilong · 2023 年2 月 6 日 02:10

dashboard 里”高级调试–性能分析“中有没有开启持续分析，如果有，PD 关系图中占用 CPU 最多的是什么？
如果没有，可以在 CPU 高的时候手工采集看看。

wfxxh · 2023 年2 月 6 日 03:22

看上去的确是调度器的占用，但是和我的写入对不上

yilong · 2023 年2 月 6 日 11:58

可以查看 PD 的监控，看看 region 和 leader 的变化是否和 CPU 使用匹配。是否在 CPU 高峰期，有很多的调度。可能是热点导致，或者增加节点，删除节点等。

wfxxh · 2023 年2 月 7 日 01:48

也对不上啊

裤衩儿飞上天 · 2023 年2 月 7 日 01:56

10.1.3.121 这个节点又没有混合部署其他应用？每隔12小时有没有定时任务？

wfxxh · 2023 年2 月 7 日 01:58

不是固定的每隔12小时，确定了的确是pd导致的

裤衩儿飞上天 · 2023 年2 月 7 日 02:00

对应时间段的监控贴上来，还有日志

wfxxh · 2023 年2 月 7 日 02:27

日志在最开始上传过。

裤衩儿飞上天 · 2023 年2 月 7 日 02:43

你这个节点是不是混合部署了 pd tikv tiflash ，还有其他吗

wfxxh · 2023 年2 月 7 日 02:44

是的，但是导致负载高的的确是pd

wfxxh · 2023 年2 月 9 日 00:25

目前尝试过关停疑似高写入的服务，关停auto analyze，结果问题依旧

wfxxh · 2023 年2 月 20 日 07:08

求助，顶贴