grafana显示异常

tidb version: v4.0.6。
我们是从3.x使用tiup升级上来的。这里在3.x线上是正常的。4.0.6就不能正常显示,我们是5个节点,这里只显示三个。

请问一下目前监控显示恢复正常了吗?

不正常

1.请问下 overview 面板左上方的地址是 pd-leader 吗?如果不是的话麻烦切换到 pd leader 再看下;
2.重启下 grafana/prometheus 看下能否恢复正常。

image

问题就在这了,这里只会显示一个pd。重启大法试过很多次了,放弃了

1.麻烦反馈下 tiup cluster display {cluster-name} 的结果,看下 pd leader 是哪一个?
2.直接登录到 prometheus 地址,看下直接根据 grafana 里监控指标的表达式能否查询到数据,比如:


将里面的表达式拷贝到 prometheus 中,执行下:

pd leader就是页面显示的那个61。

prometheus 里面查不到数据,其他有显示的可以。

日志为:

1.从你的描述里看,不确定在升级过程中执行了哪些操作导致 prometheus 没有采集相关指标数据;
2.请问下prometheus 里的监控数据需要保留吗?如果不保留的话可以通过缩容和扩容的方式重新安装下监控组件。

不需要保留,是不是直接卸载掉监控组件然后重新安装就行?

是的,直接通过 tiup cluster scale-in 方式将监控组件下线掉,然后再通过 tiup cluster scale-out 方式将监控组件添加上。

不知道我理解的对不对,我看这里只能增减节点。我的监控组件和tikv在一个节点上,不敢乱动

可以通过指定 prometheus 组件来缩容 ,tiup cluster scale-in {cluster-name} -R prometheus ,但注意下 prometheus 和 tikv 的路径最好不要在相同路径下,因为缩容时会删除 prometheus 目录下的文件。