【 TiDB 使用环境】测试
【 TiDB 版本】 v6.4.0
【遇到的问题:问题现象及影响】
通过tiup完成一套新集群部署后(新集群包含altermanager Prometheus等),通过tiup完成tidb实例扩缩容后,Prometheus依然会报缩容节点down机的告警
【附件:截图】
【 TiDB 使用环境】测试
【 TiDB 版本】 v6.4.0
【遇到的问题:问题现象及影响】
通过tiup完成一套新集群部署后(新集群包含altermanager Prometheus等),通过tiup完成tidb实例扩缩容后,Prometheus依然会报缩容节点down机的告警
【附件:截图】
看下模版文件 .tiup/storage/cluster/clusters/${clustername}/config-cache/run_prometheus_{ip}_{port}.sh 里是不是还包含已经缩容掉的节点信息,如果还有就删掉,然后重启 prom
当时缩容操作的 audit log 还在吧?贴一下看看,tiup 应该会把 prometheus targets 更新一遍的
tiup cluster audit <ID>
检查 Prometheus 的配置文件,确认是否正确地添加了新添加的 TiDB 实例
我之前遇到过缩容集群节点后,碰到node_exporter的告警,你reload下prometheus 应该就好了
在执行扩缩容的过程有没有中断?按理说tiup 也会自动更新监控组件的