节点缩容后，对应的prometheus的target不会自动删除节点，引起一遍告警。

🪐 TiDB 技术问题
1

发现prometheus中，如我扩容了一个节点，prometheus会自动添加监控。
但把这个节点缩减后，prometheus就不会自动删除这节点，导致prometheus不停在告警。如下图中的10.6.0.130节点，我使用tiup cluster scale-in tidb-vm --node 10.4.0.37:4000删除后，prometheus就一堆告警出现。
请问有什么优雅点的方法解决这个告警吗？

image
image1770×791 86.8 KB

2

你好，请提供下 tidb 版本，可以发下 display 结果，

3

tiup cluster display tidb-vm

Starting component cluster: /root/.tiup/components/cluster/v1.0.7/tiup-cluster display tidb-vm
TiDB Cluster: tidb-vm
TiDB Version: v4.0.1
ID Role Host Ports OS/Arch Status Data Dir Deploy Dir

10.1.0.3:9093 alertmanager 10.1.0.3 9093/9094 linux/x86_64 Up /data/tidb-data/alertmanager-9093 /data/tidb-deploy/alertmanager-9093
10.6.8.10:8249 drainer 10.6.8.10 8249 linux/x86_64 Up /data/tidb-data/drainer-8249 /data/tidb-deploy/drainer-8249
10.1.0.3:3000 grafana 10.1.0.3 3000 linux/x86_64 Up - /data/tidb-deploy/grafana-3000
10.6.0.43:2379 pd 10.6.0.43 2379/2380 linux/x86_64 Up /data/tidb-data/pd-2379 /data/tidb-deploy/pd-2379
10.6.0.44:2379 pd 10.6.0.44 2379/2380 linux/x86_64 Up|UI /data/tidb-data/pd-2379 /data/tidb-deploy/pd-2379
10.6.0.8:2379 pd 10.6.0.8 2379/2380 linux/x86_64 Up|L /data/tidb-data/pd-2379 /data/tidb-deploy/pd-2379
10.1.0.3:9090 prometheus 10.1.0.3 9090 linux/x86_64 Up /data/tidb-data/prometheus-9090 /data/tidb-deploy/prometheus-9090
10.6.8.10:8250 pump 10.6.8.10 8250 linux/x86_64 Up /data/tidb-data/pump-8249 /data/tidb-deploy/pump-8249
10.6.0.10:4000 tidb 10.6.0.10 4000/10080 linux/x86_64 Up - /data/tidb-deploy/tidb-4000
10.6.0.9:4000 tidb 10.6.0.9 4000/10080 linux/x86_64 Up - /data/tidb-deploy/tidb-4000
10.6.0.14:20160 tikv 10.6.0.14 20160/20180 linux/x86_64 Up /data/tidb-data/tikv-20160 /data/tidb-deploy/tikv-20160
10.6.0.14:20161 tikv 10.6.0.14 20161/20181 linux/x86_64 Up /data/tidb-data/tikv-20161 /data/tidb-deploy/tikv-20161
10.6.0.3:20160 tikv 10.6.0.3 20160/20180 linux/x86_64 Up /data/tidb-data/tikv-20160 /data/tidb-deploy/tikv-20160
10.6.0.3:20161 tikv 10.6.0.3 20161/20181 linux/x86_64 Up /data/tidb-data/tikv-20161 /data/tidb-deploy/tikv-20161

4

你好，可以升级下 tiup cluster 版本，

5
  1. tiup update cluster
  2. tiup cluster reload -R prometheus
    然后看看有没有修复问题