缩容TiDB节点失败，卡在Stopping component node_exporter

🪐 TiDB 技术问题
1

【TiDB 使用环境】生产环境
【TiDB 版本】v6.1.1
【操作系统】
【部署方式】机器部署
【集群数据量】
【集群节点数】
下线TiDB节点失败：
执行命令：
tiup cluster scale-in tidb-iap --node 10.155.78.148:4000
输出：
Stop tidb 10.155.78.148:4000 success
Destroying component tidb
Destroying instance 10.155.78.148
Destroy 10.155.78.148 success

  • Destroy tidb paths: [/data/tidb-log/tidb-4000 /data/tidb-deploy/tidb-4000 /etc/systemd/system/tidb-4000.service]
    Stopping component node_exporter
    Stopping instance 10.155.78.148

Error: failed to destroy: failed to stop monitor: failed to stop: 10.155.78.148 node_exporter-9100.service, please check the instance’s log() for more detail.: timed out waiting for port 9100 to be stopped after 2m0s

2

1、重新执行scale-in，等待任务到Stopping component node_exporter

tiup cluster cluster-name scale-in xxx --wait-timeout=600

2、登陆10.155.78.148机器，

sudo -i. ## 切换到root账号

systemctl stop node_exporter
3

还是不行啊

4

解决了，机器上起了另一个用途的node_export,杀了那个就好了，不过为啥他不停自己的要管停别人的服务？

5

tidb会在机器起1个监控采集器，大部分公司服务器会自己部署监控采集器，这样就2个了。

具体为啥停别人的就不清楚了，应该是tiup工具写死了。

6

我下线之后还是一直告警，怎么解决，怎么更新告警啊

7

:thinking:重启一下集群，或者reload一下试试。

8

重启promethus和grafana