grafana中的dashboard 名称自动变更成Test-Cluster开头的原因

【TiDB 使用环境】生产环境
【TiDB 版本】7.5.3
【操作系统】
【部署方式】腾讯云
【集群数据量】
【集群节点数】
【问题复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【复制黏贴 ERROR 报错的日志】
【其他附件:截图/日志/监控】


生产环境存在7.5.3的集群,已经使用了很长一段时间了,突然发现部分dashboard的名字发生了变化,变成 Test-Cluster-xxx ,如下图

正常所有的dashboard都应该是 secondary-tidb-xx 才对,确认没有人为修改过这个名字。

后来排查所有的服务配置在10-23reload过,是因为server节点下线。

在tiup主机的 ~/.tiup 目录下搜索也没有 Test-Cluster相关的关键词,在grafana(prometheus/altermanager共用主机) 在相关的服务配置和日志中也没有搜索到 Test-Cluster关键词。

后来没有办法执行 tiup cluster reload secondary-tidb -R grafana 之后好了。

谁知道这是啥原因导致的?

看看grafana的日志有没有什么信息呢

你是不是部署过dm什么的组件,会覆盖一些grafana配置

1 个赞

从grafana prometheus等日志都没有发现这么个名字

历史确实部署过dm组件,不过这个集群好长时间没有动过了,而且这个集群的迁移结束再五月份,期间也对tikv/server做过扩容和缩容,第一次遇到这个名字变更的

刚从 .tiup 下dm的审计日志中看到也确实有 Test-Cluster的关键字,不过都是2024年的日志了

估计还是有什么历史残留

嗯,目前dm不用了,我把这个卸载了,等下次server节点扩缩容的时候再看

看下日志.

grafana的日志有发现信息没

没有呢,基于 Test-Cluster关键词没有匹配到任何记录

昨天清理了dm-cluster集群,今天再缩容server节点没有遇到该问题,估计是dm相关导致的。