alertmanager启动失败

【 TiDB 使用环境】生产环境 or 测试环境 or POC
【 TiDB 版本】
【遇到的问题】
【复现路径】做过哪些操作出现的问题
【问题现象及影响】

【附件】

请提供各个组件的 version 信息,如 cdc/tikv,可通过执行 cdc version/tikv-server --version 获取。

[tidb@tidb-30-116 log]$ tiup cluster display tidb-test
Starting component cluster: /home/tidb/.tiup/components/cluster/v1.8.2/tiup-cluster display tidb-test
Cluster type: tidb
Cluster name: tidb-test
Cluster version: v4.0.9
Deploy user: tidb
SSH type: builtin
Dashboard URL: http://172.17.30.118:2379/dashboard
ID Role Host Ports OS/Arch Status Data Dir Deploy Dir


172.17.30.116:9093 alertmanager 172.17.30.116 9093/9094 linux/x86_64 Down /tidb-data/alertmanager-9093 /tidb-deploy/alertmanager-9093
172.17.30.116:3000 grafana 172.17.30.116 3000 linux/x86_64 Down - /tidb-deploy/grafana-3000
172.17.30.117:2379 pd 172.17.30.117 2379/2380 linux/x86_64 Up /tidb-data/pd-2379 /tidb-deploy/pd-2379
172.17.30.118:2379 pd 172.17.30.118 2379/2380 linux/x86_64 Up|UI /tidb-data/pd-2379 /tidb-deploy/pd-2379
172.17.30.119:2379 pd 172.17.30.119 2379/2380 linux/x86_64 Up|L /tidb-data/pd-2379 /tidb-deploy/pd-2379
172.17.30.116:9090 prometheus 172.17.30.116 9090 linux/x86_64 Down /tidb-data/prometheus-9090 /tidb-deploy/prometheus-9090
172.17.30.117:4000 tidb 172.17.30.117 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000
172.17.30.118:4000 tidb 172.17.30.118 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000
172.17.30.119:4000 tidb 172.17.30.119 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000
172.17.30.117:20160 tikv 172.17.30.117 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160
172.17.30.118:20160 tikv 172.17.30.118 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160
172.17.30.119:20160 tikv 172.17.30.119 20160/20180 linux/x86_64 Pending Offline /tidb-data/tikv-20160 /tidb-deploy/tikv-20160
Total nodes: 12prometheus.log (1.2 MB) grafana.log.2022-07-13.001 (33.5 MB) alertmanager.log (2.3 KB)
[tidb@tidb-30-116 log]$

机器正常关闭了集群,但是在重启主机后,启动集群的监控报错。
具体日志如附件的日志

删除对应目录文件 在重新启动

背景是什么,有没有做过缩容操作,看下tikv的日志,目前有一台tikv状态不对

是的,kv有一个没拉起来,和这个有关系吗。影响监控的启动吗

如果启动。手动单独启动还是。用集群启动带动监控启动

手动启动即可

如何手动启动,可以给下大概的命令模板吗

tiup cluster restart tidb-cluster -R promethus
tiup cluster restart tidb-cluster -R grafana
tiup cluster restart tidb-cluster -R alertmanager

看下这个帖子,排查下有无类似问题。[tidb-v5]安装完TiDB集群,alertmanager 无法启动

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。