扩容tiflash后，grafana上显示down

Christophe · 2023 年10 月 4 日 22:36

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
扩容tiflash后，grafana显示down，但display和节点进程都正常
【资源配置】
【附件：截图/日志/监控】

Kongdom · 2023 年10 月 4 日 23:55

重启一下grafana节点试一下

Fly-bird · 2023 年10 月 5 日 00:12

重启监控或者tiflash节点

xfworld · 2023 年10 月 5 日 06:03

关掉防火墙…

TiDBer_小阿飞 · 2023 年10 月 7 日 03:35

重启节点

xingzhenxiang · 2023 年10 月 7 日 03:41

检查一下防火墙，是否开启
在promethues 机器上telnet xx.xx.xx.xx 9100
telnet xx.xx.xx.xx 9115

ti-tiger · 2023 年10 月 9 日 01:46

TiFlash 与 Prometheus 之间的网络问题：如果 TiFlash 节点与 Prometheus 节点之间的网络不通，那么 Prometheus 就无法获取 TiFlash 的监控数据，导致 grafana 显示 TiFlash 节点为 down。你可以尝试检查 TiFlash 节点和 Prometheus 节点之间的网络连通性，比如使用 ping 或 telnet 命令，或者查看 TiFlash 日志中是否有连接失败的报错。
TiFlash 与 Prometheus 之间的端口问题：如果 TiFlash 节点与 Prometheus 节点之间的端口被防火墙或其他安全策略阻拦，那么 Prometheus 也无法获取 TiFlash 的监控数据，导致 grafana 显示 TiFlash 节点为 down。你可以尝试检查 TiFlash 节点和 Prometheus 节点之间的端口是否开放，比如使用 netstat 或 iptables 命令，或者查看 TiFlash 配置文件中是否有正确设置监控端口。
TiFlash 的监控组件问题：如果 TiFlash 节点的监控组件（tiflash proxy 和 pd buddy）出现故障或异常，那么也会影响 TiFlash 的监控数据的上报和展示，导致 grafana 显示 TiFlash 节点为 down。你可以尝试检查 TiFlash 节点的监控组件的状态和日志，比如使用 systemctl 或 journalctl 命令，或者查看 TiFlash 监控说明中的相关指标。