pd dashboard报“集群中未部署 Prometheus 组件,监控不可用。”

【 TiDB 使用环境】生产环境
【 TiDB 版本】v5.4.2
【复现路径】tidb裸机部署的,用了三年,当前版本运行了半年,第一次出现该问题
【遇到的问题:问题现象及影响】pd dashboard突然报错:集群中未部署 Prometheus 组件,监控不可用。

除了手动修改prometheus地址,还有别的办法吗?导致这个的原因是什么,另外日志中的failed to reload persist options是什么原因,已经打了N条该警告了

报错截图

pd日志

集群状态

prometheus日志里面有报错吗?

没有的

监控组件重启过吗?

早上看pd dashboard异常时,以为是prometheus的问题,重启过一次prometheus。但是问题依旧。

我手动改了这里就正常了。问题是集群topo都没动过,怎么就突然识别不到了

还有一点是grafana监控是正常的,grafana的数据源和pd是同一个prometheus。

https://docs.pingcap.com/zh/tidb/stable/deploy-monitoring-services
可以尝试手动部署一下

你可以检查一下配置文件,目前是PD面板集群中识别不到 prometheus组件

部署啥?监控服务都是正常状态。

配置文件也是正常的,集群topo都正常。
刚开始pd也能识别到prometheus,过了半年突然就识别不到地址了。

你好
可以试下 reload 一下监控?tiup cluster reload -R prometheus,grafana,alertmanager

刚才试了一下,问题依旧