发现prometheus中,如我扩容了一个节点,prometheus会自动添加监控。
但把这个节点缩减后,prometheus就不会自动删除这节点,导致prometheus不停在告警。如下图中的10.6.0.130节点,我使用tiup cluster scale-in tidb-vm --node 10.4.0.37:4000删除后,prometheus就一堆告警出现。
请问有什么优雅点的方法解决这个告警吗?
tiup cluster display tidb-vm
Starting component cluster
: /root/.tiup/components/cluster/v1.0.7/tiup-cluster display tidb-vm
TiDB Cluster: tidb-vm
TiDB Version: v4.0.1
ID Role Host Ports OS/Arch Status Data Dir Deploy Dir
10.1.0.3:9093 alertmanager 10.1.0.3 9093/9094 linux/x86_64 Up /data/tidb-data/alertmanager-9093 /data/tidb-deploy/alertmanager-9093
10.6.8.10:8249 drainer 10.6.8.10 8249 linux/x86_64 Up /data/tidb-data/drainer-8249 /data/tidb-deploy/drainer-8249
10.1.0.3:3000 grafana 10.1.0.3 3000 linux/x86_64 Up - /data/tidb-deploy/grafana-3000
10.6.0.43:2379 pd 10.6.0.43 2379/2380 linux/x86_64 Up /data/tidb-data/pd-2379 /data/tidb-deploy/pd-2379
10.6.0.44:2379 pd 10.6.0.44 2379/2380 linux/x86_64 Up|UI /data/tidb-data/pd-2379 /data/tidb-deploy/pd-2379
10.6.0.8:2379 pd 10.6.0.8 2379/2380 linux/x86_64 Up|L /data/tidb-data/pd-2379 /data/tidb-deploy/pd-2379
10.1.0.3:9090 prometheus 10.1.0.3 9090 linux/x86_64 Up /data/tidb-data/prometheus-9090 /data/tidb-deploy/prometheus-9090
10.6.8.10:8250 pump 10.6.8.10 8250 linux/x86_64 Up /data/tidb-data/pump-8249 /data/tidb-deploy/pump-8249
10.6.0.10:4000 tidb 10.6.0.10 4000/10080 linux/x86_64 Up - /data/tidb-deploy/tidb-4000
10.6.0.9:4000 tidb 10.6.0.9 4000/10080 linux/x86_64 Up - /data/tidb-deploy/tidb-4000
10.6.0.14:20160 tikv 10.6.0.14 20160/20180 linux/x86_64 Up /data/tidb-data/tikv-20160 /data/tidb-deploy/tikv-20160
10.6.0.14:20161 tikv 10.6.0.14 20161/20181 linux/x86_64 Up /data/tidb-data/tikv-20161 /data/tidb-deploy/tikv-20161
10.6.0.3:20160 tikv 10.6.0.3 20160/20180 linux/x86_64 Up /data/tidb-data/tikv-20160 /data/tidb-deploy/tikv-20160
10.6.0.3:20161 tikv 10.6.0.3 20161/20181 linux/x86_64 Up /data/tidb-data/tikv-20161 /data/tidb-deploy/tikv-20161
你好,可以升级下 tiup cluster 版本,
- tiup update cluster
- tiup cluster reload -R prometheus
然后看看有没有修复问题