tikv-server扩容后,grafna监控不到最新节点的信息

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】6.5
【复现路径】
【遇到的问题:问题现象及影响】原本 155,156,157三台服务上各部署一个kv节点,后面在每台机器上又各加了一个kv-server节点,但是grafana只能监控到之前的三个节点信息,无法监控到新加的三个节点信息。
【资源配置】
【附件:截图/日志/监控】
1、新加的三个节点配置文件


2、集群信息

3、granfna监控页图片,只能看到3台机器的20180端口的kv-server的信息,没有20181端口的信息

1 个赞

登陆到新添加的节点上 看一看node_exporter-9000 和blackbox_exporter-9115 服务是否正常,端口是否处于监听状态
Centos 7 或者redhat 7命令:
systemctl list-unit-files|grep node_
systemctl list-unit-files|grep black
systemctl status node_exporter-9100.service
systemctl status blackbox_exporter-9115.service
netstat -nltp
还有就是安全组 防火墙 相应的端口 是否有放开 反正要保证这两个服务是正常的,端口网络连接是正常的

1 个赞

手动 tiup reload 下 Prometheus 试试。
tiup cluster reload c-name -R prometheus;

2 个赞

重启监控节点试试

1 个赞

重启普罗米修斯

1 个赞

我的集群都重启了,Prometheus也跟着重启了,没效果。


这两个服务是正常的,而且另外3个kv-server节点都可以监听到。

你要到 prometheus 节点上看一下 prometheus 的配置,看下你扩容到 tikv 是不是在配置里面。
正常是要重新 reload prometheus 就会通过 mete.yaml 文件,重新生成 prometheus 的配置,然后下发到远程节点去覆盖配置的,你按照我这个思路查一下。

2 个赞

感谢,这个命令生效了

1 个赞

:+1: :+1: :+1: