Prometheus

普罗米修斯 · 2023 年11 月 27 日 03:06

【 TiDB 使用环境】生产环境
【 TiDB 版本】5.2.4
【遇到的问题：问题现象及影响】
Dashboard中prometheus出现很多条alertname="NODE_disk_write_latency_more_than_16ms"磁盘延迟告警，这些磁盘都是tidb pd的机械磁盘，类似这种告警可以silence忽略吧不胜其烦

MrSylar · 2023 年11 月 27 日 03:11

不建议忽略，PD 的落盘操作是为了刷新事务 ID，落盘盘代表分配计算节点事务的速度就慢，进而事务响应时间就慢。所以更建议换个 ssd 盘给 pd 使用

小龙虾爱大龙虾 · 2023 年11 月 27 日 03:14

测试环境可以直接忽略，生产环境建议提高配置，按官方建议配置来。

普罗米修斯 · 2023 年11 月 27 日 03:19

有10来条报警时tikv节点上系统盘和这个dm-0的告警，这个也不是tikv节点部署的路径

像风一样的男子 · 2023 年11 月 27 日 05:55

我已忽略，warning级别警告太频繁了可以忽略。

zhanggame1 · 2023 年11 月 27 日 06:17

altermanager设置在哪开打，我一直没搞清楚

普罗米修斯 · 2023 年11 月 27 日 06:20

普罗米修斯 · 2023 年11 月 27 日 06:21

ok 我把这些warn先关闭了看看

普罗米修斯 · 2023 年11 月 27 日 06:24

tidb和pd是sas 后面向领导申请下把pd的盘符替换下

像风一样的男子 · 2023 年11 月 27 日 06:26

http://alertmanager服务器ip:9093/#/alerts

zhanggame1 · 2023 年11 月 27 日 06:37

好的，谢谢

dba远航 · 2023 年11 月 28 日 00:43

可以先过滤掉，但如果是生产就要正视了，说明IO已经遇到瓶颈了

system · 2024 年1 月 27 日 00:43

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。