dm 集群 grafana 不可用

[lmbby]

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。
dm v2.0.1
dm 集群重启后，监控面板不可用全部报错“Panel plugin not found: graph”
tiup dm destroy dm-test 后，重新部署，监控面板仍然不可用。
日志报错部分文件不存在

线上环境 捉急 麻烦老师们支持一下

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

[小王同学]

你好，麻烦提供下 TiUP 的版本。另外在确认下 prometheus 是否能查出数据。登陆 prometheus 的 IP:port 随便查一下就可以。

[lmbby]

非常感谢！

v1.2.5 tiup
prometheus 可以查出数据

看社区好多同学遇到这个问题了，麻烦老师支持排查一下了，感谢~

[QBin (Bin)]

请确认一下以下的几点：

1. Grafana 相关的 DataSource 是否正确，并且测试这些 Datasource 是否能够正确连通
2. Grafana 位置中 paths.plugins 的配置是否正确，方便的话上传一下 Grafana 的配置文件。

[lmbby]

感谢老师！

已确认 DataSource 正确，且可以连通，但是这个点进去加载不出内容

plugins

grafana.ini (8.1 KB)

[QBin (Bin)]

• 麻烦再上传一下 {grafana_deploy_path}/provisioning/datasources/datasource.yml 的文件
• 另外也给一下 curl http://{{ grafana_admin_user }}:{{ grafana_admin_password }}@127.0.0.1:{{ grafana_port }}/api/datasources 的结果

[lmbby]

datasource.yml (284 字节)

[QBin (Bin)]

plugins 看起来是 public 的也没有正确加载，

• 请检查一下 {Grafana_deploy_path}/bin/public/app/plugins 这个文件夹里面是否有 Prometheus 的 plugin
• 另外请检查一下 grafana 启动脚本里面的 homepath 的设置

[lmbby]

/data/dm/deploy/grafana-3001/bin/public/app/plugins/datasource/prometheus
这个路径下缺少了 plugin.json

[QBin (Bin)]

如果缺少了 plugin.json 的话建议可以先通过 TiDB cluster 的 grafana copy 一份 {Grafana_deploy_path}/bin/public/app/plugins 到 dm cluster 的 grafana 的路径下面进行替换（请做好备份）。然后重启 grafana 看看能否解决问题。

[lmbby]

不能呢，重启后复制过来的内容就不见了，文件又恢复和之前一模一样了

[QBin (Bin)]

你复制过来之后不要用 tiup 来 reload 重启，直接调用 SystemCtl restart 来重启。另外这个问题已经找到。下一个版本会修复。目前请先通过这种 copy 的方式来 workaround 。

[lmbby]

好的 感谢

[Lucien]

如果问题解决的话，麻烦反馈一下。

[lmbby]

非常抱歉。才看到。
将 TiDB cluster 的 grafana copy 一份 {Grafana_deploy_path}/bin/public/app/plugins 到 dm cluster 的 grafana 的路径下面进行替换，然后再通过 SystemCtl restart 问题已经解决

非常感谢支持！

[小王同学]

这周会发布 tiup 1.3.2，之后升级一下 TiUP 就好。

[lmbby]

好的。那我下周升级一下 TiUP 有问题再反馈

[小王同学]