升级3.0.4后部分监控无数据

为提高效率,提问时请尽量提供详细背景信息,问题描述清晰可优先响应。以下信息点请尽量提供:

  • 系统版本 & kernel 版本】centos
  • TiDB 版本】3.0.4
  • 磁盘型号】ssd
  • 集群节点分布
  • 数据量 & region 数量 & 副本数
  • 问题描述(我做了什么)】从2.1.17升级到3.0.4
  • 关键词】升级完成后部分监控无数据

PD部分数据是正常的

从你的截图来看是系统信息没有采集到:

  1. 在各个节点上node_exporter进程是否存在,ps -ef | grep node_exporter
  2. 等待一段时间,因为监控收集信息有一定时间间隔

都正常启动了,另外升级是昨天下午完成的

看下prometheus中是否有采集到数据,确定是数据采集的问题还是页面展示的问题

想问下怎么确定prometheus是否已经有对应数据了

prometheus_ip:9090访问

从prometheus看node_exporter已经搜集到了数据,这么看是grafana的问题? 仅仅是升级了,之前的配置都没改。。

嗯,这个可以检查一下:

  1. 时间是否同步,prometheus grafana机器以及浏览器机器时间
  2. 可以编辑监控面板看下显示数据的语句是否有问题

或者看下这个问题链接看能否解决你的问题:TiDB 3.0.2 Cluster-TiKV 组件不显示监控数据

文档是否可以更新一下,看上面代码,json文件变了好多,是要重新上传么,这么重要的信息升级文档提都没提。。

你升级的时候执行rolling_update_monitor步骤了吗,这个步骤会将新的json文件上传的

知道原因了,我们的grafana不是独立部署的,谢谢你了 @gangshen-PingCAP

不客气,可以分享一下非独立部署grafana升级需要注意的点以及解决方案吗,方便社区其他小伙伴参考:grinning:

嗯,等我先把这个问题解决了哈