【 TiDB 使用环境】生产环境
【 TiDB 版本】v6.5
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】
有一台cdc节点之前部署的,机器已经释放了。
执行命令强制下线:tiup cluster xxx scale-in ip:8300 --force
现在集群是这样状态,但是prometheus里仍然告警报这台机器Ping和节点丢失等,请问如何消除这个告警
【 TiDB 使用环境】生产环境
【 TiDB 版本】v6.5
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】
需要重启下Prometheus吧
tiup cluster restart tidb-xxx -R prometheus
强制下线后,我这样重启过了
看下/u01/tidb-deploy/prometheus-9090/conf/prometheus.yml下面是不是还有对应节点信息,再看下tiup cluster edit-config里面有没有,没有的话reload下Prometheus看下配置文件应该会刷新掉
需要tiup cluster reload tidb-xxx -R prometheus这样,因为这样会刷新配置文件
要手动执行tiup cluster reload tidb-xxx -R prometheus 进行下线
手动执行reload命令,重新加载配置
tiup cluster reload tidb-xxx -R prometheus
重新加载一下试试
我简单的在alerymanager加了silence
过滤一下告警的级别