扩容tidb和pd节点完成以后,grafana 图表查看不到新的节点

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【概述】扩容tidb和pd节点完成以后,grafana 图表查看不到新的节点

【TiDB 版本】v5.1.0
hi,我在测试环境测试扩容新节点,在扩容3个pd和3个tidb节点成功以后,grafana 图表看不到新的扩容节点,还是旧的节点,我重启了新的扩容节点pd和tidb,grafana和prometheus 各个组件,还是一样,请问是bug吗?

这是dashbord图表:

这是grafana tidb图表

【附件】

  1. TiUP Cluster Display 信息

  2. TiUP Cluster Edit Config 信息

  3. TiDB- Overview 监控

  • 对应模块日志(包含问题前后1小时日志)

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

2 个赞

你好,请看下这个文件有没有对应扩容节点的信息
到prometheus节点只找到配置文件,把对应的tidb节点去掉,然后重启下
/prometheus-9090/deploy/conf/prometheus.yml
另外display是正常的么,tidb,pd的日志可以看看么

prometheus.yml 没看到扩容节点的信息


display 是正常的

另外节点我重启了好多次,grafana还是看不到新节点监控信息

我可能没有表述清楚,您这把对应的扩容节点加到prometheus.yml文件里,然后再重启下呢,看看是否可行,我这没有安装5.1,暂时无法复现您这的bug

按照你的建议,我手动把新扩容的pd和tidb 节点添加到了prometheus.yml文件里,重启了集群,现在可以在grafana 里看到新的节点监控信息了!谢谢了。请问这是bug吗?如何反馈给官方?

可以提到github上的issue,也可以提到论坛里的产品缺陷,但具体是不是bug还需要进一步确定,因为我这没有该版本,所以无法确定,如果上面的回答解决了问题请点下对我有用,方便其他人搜索并解决问题

我刚执行了缩容,也正常执行完了缩容,机器display 信息也正确,但是dashboard 显示缩容掉的机器还显示无法访问?修改了prometheus.yml 文件,重启了集群也无效。。。。


相关日志有没有错误信息,如果没有,缩容命令加个–force试下

缩容操作都成功的,集群也能正常访问,缩容时候没有加-force。就是dashboard 和grafana 还显示旧的tidb 节点信息,好奇怪

prometheus节点的错误日志有没有,tiup版本是什么,这几个下掉的节点上面是否还有监控进程,tidb进程

我重启了下旧节点的机器,就可以了,估计是缓存:innocent:

好的:+1:

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。