强制下线Down节点,告警仍然报出来,如何消除

【 TiDB 使用环境】生产环境
【 TiDB 版本】v6.5
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】


有一台cdc节点之前部署的,机器已经释放了。
执行命令强制下线:tiup cluster xxx scale-in ip:8300 --force
现在集群是这样状态,但是prometheus里仍然告警报这台机器Ping和节点丢失等,请问如何消除这个告警

需要重启下Prometheus吧

tiup cluster restart tidb-xxx -R prometheus
强制下线后,我这样重启过了

看下/u01/tidb-deploy/prometheus-9090/conf/prometheus.yml下面是不是还有对应节点信息,再看下tiup cluster edit-config里面有没有,没有的话reload下Prometheus看下配置文件应该会刷新掉

需要tiup cluster reload tidb-xxx -R prometheus这样,因为这样会刷新配置文件

要手动执行tiup cluster reload tidb-xxx -R prometheus 进行下线

手动执行reload命令,重新加载配置

tiup cluster reload tidb-xxx -R prometheus

1 个赞

重新加载一下试试

我简单的在alerymanager加了silence

过滤一下告警的级别