pd dashboard报“集群中未部署 Prometheus 组件，监控不可用。”

wfxxh · 2022 年12 月 19 日 00:43

【 TiDB 使用环境】生产环境
【 TiDB 版本】v5.4.2
【复现路径】tidb裸机部署的，用了三年，当前版本运行了半年，第一次出现该问题
【遇到的问题：问题现象及影响】pd dashboard突然报错：集群中未部署 Prometheus 组件，监控不可用。

除了手动修改prometheus地址，还有别的办法吗？导致这个的原因是什么，另外日志中的failed to reload persist options是什么原因，已经打了N条该警告了

报错截图

pd日志

集群状态

tidb菜鸟一只 · 2022 年12 月 19 日 01:07

prometheus日志里面有报错吗?

wfxxh · 2022 年12 月 19 日 01:07

没有的

我是咖啡哥 · 2022 年12 月 19 日 01:08

监控组件重启过吗？

wfxxh · 2022 年12 月 19 日 01:09

早上看pd dashboard异常时，以为是prometheus的问题，重启过一次prometheus。但是问题依旧。

wfxxh · 2022 年12 月 19 日 01:11

我手动改了这里就正常了。问题是集群topo都没动过，怎么就突然识别不到了

wfxxh · 2022 年12 月 19 日 01:14

还有一点是grafana监控是正常的，grafana的数据源和pd是同一个prometheus。

Billmay表妹 · 2022 年12 月 22 日 02:08

会飞的土拨鼠 · 2022 年12 月 22 日 02:12

你可以检查一下配置文件，目前是PD面板集群中识别不到 prometheus组件

wfxxh · 2022 年12 月 22 日 02:23

部署啥？监控服务都是正常状态。

wfxxh · 2022 年12 月 22 日 02:25

配置文件也是正常的，集群topo都正常。
刚开始pd也能识别到prometheus，过了半年突然就识别不到地址了。

Min_Chen · 2022 年12 月 22 日 03:02

你好
可以试下 reload 一下监控？tiup cluster reload -R prometheus,grafana,alertmanager

wfxxh · 2022 年12 月 22 日 03:28

刚才试了一下，问题依旧