集群升级之后Prometheus监控报错

🪐 TiDB 技术问题 部署&运维管理
1

【 TiDB 使用环境】公共测试环境
【 TiDB 版本】v5.2.3升级至v7.1.0
【遇到的问题：问题现象及影响】
将两个测试集群升级至7.1.0版本之后，其中一个Prometheus监控无法查看(另一个正常)，报错如图：

image
image1910×506 62 KB

升级之前没去看监控，所以现在也不太清楚是不是一直如此，此类问题从来没遇到过，有什么建议吗，感谢！
补充：把Prometheus和Grafana缩容之后，重新扩容P/G依然展示如此

2

0、确认下grafana->configuration->datasource的名称是否是publicpublictest-cluster
1、在grafana->configuration->datasource，点击Save & Test是否正常

image
image2126×554 44.7 KB

2、使用浏览器访问${prometheus_ip}:{prometheus_port}看下能否正常访问

3

提示数据源有问题

4

image
image1270×398 19.5 KB

数据源这块我看过了，确实和报错显示的不一样，因为报错多了一个public前缀
Save&Test也没问题

5

image
image1165×294 13.7 KB

数据源的IP和端口之前看了没问题。
刚才用浏览器直接访问了下也能直接进去。
看了下Dashboard的Annotations显示的数据源不对，点进去实际看里边没有数据源，想修改也不行，因为:

This dashboard cannot be saved from Grafana's UI since it has been provisioned from another source. Copy the JSON or save it to a file below. Then you can update your dashboard in corresponding provisioning source.
See documentation for more information about provisioning.

看了下实际的配置文件还没找到带错误前缀的配置文件，打算按https://asktug.com/t/topic/68267这里的建议修改下

6

可以看下grafana部署目录下dashboards子目录的json文件里的datasource是否正确
image

7

实在是找不到相关的问题触触发点了，暂归咎于历史遗留问题。
我在/data/grafana-3000/provisioning/dashboards/dashboard.yml中添加了allowUiUpdates: true
然后在页面中找到随意一个Dashboard，然后点击Dashboard Settings按钮，进到JSON Model里，把里边的内容拷了出来，然后把其中的publicpublic统一替换为了public，然后拷贝回去保存。
目前修改过的Dashboard正常了，其他的需要一一修改

8

我看了provisioning下的文件里显示的数据源都是正确的，但是根据你的提示dashboards下的文件中确实显示异常的，举例：

    {
      "name": "publicpublictest-cluster",
      "label": "publictest-cluster",
      "description": "",
      "type": "datasource",
      "pluginId": "prometheus",
      "pluginName": "Prometheus"
    }

我把这里的文件全部手动替换一遍应该就好了，在页面中一个个的替换dashboard有些慢

9

感谢，我统一替换了一遍目前监控正常了，这样就不用从页面修改了：

cd /data/grafana-3000/dashboards
for f in `ls`;do sed -i 's/publicpublic/public/g' $f;done
sudo systemctl restart grafana-3000
10

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。