【 TiDB 使用环境】生产环境
【 TiDB 版本】:5.2.2,5.2.3
【遇到的问题】:替换监控机器
<1>把已有的监控节点下线,prometheus、grafana,alertmanager后
<2>再扩容到同一台物理机
配置如下:
monitoring_servers:
- host: 10.1.1.1
port: 666
deploy_dir: /work/tidb666/prometheus-777
data_dir: /work/tidb666/prometheus-777/data
log_dir: /work/tidb666/prometheus-777/log
storage_retention: 5d
grafana_servers:
- host: 10.1.1.1
port: 888
deploy_dir: /work/tidb666/grafana-888
alertmanager_servers:
- host: 10.1.1.1
web_port: 999
cluster_port: 555
deploy_dir: /work/tidb666/alertmanager-555
data_dir: /work/tidb666/alertmanager-555/data
log_dir: /work/tidb666/alertmanager-555/log
<3>扩容后,发现prometheus的监控项:probe_success 监控项,无法采集到10.1.1.1 的3个监控项:node_exporter,black_export,grafana
<4>开启black_exporter的debug日志等级,发现不去采集这个10.1.1.1的IP