grafana 很多alert 都在告警,Execution Error: Could not find datasource Data source not found 但是没达到报警阈值

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【TiDB 版本】


【问题描述】

grafana 很多alert 都在告警,Execution Error: Could not find datasource Data source not found 但是没达到报警阈值


2 个赞

https://ap.tidb.cc/post/20200513-20-provisioning-grafana/

参考下这个文章中的解决方案看可以吗?

1 个赞

好像不对,这个里面的文件路径都对应不上
还有这个操作后,自定义的其他监控是不是都没有了啊?我这里有还有其他kafka/es集群的监控不能删的
image

你的路径是怎么样的?
你这个 Grafana 是自己部署的吗?不是通过 tiup 部署的?

这个问题解决了吗??我重启了下监控组件也遇到了

可以尝试重装一下就行了,,哈哈

新版本的 tiup 已经修复这个问题了~

我也遇到这个问题了,grafana后台日志不停的在报错。

请问这个报错,有影响吗?我的也在不停的报错,怎么让他消失呢?

t=2022-04-28T17:32:30+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=70 name=“Storage ReadPool CPU alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:30+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=43 name=“Transaction Statement Num alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:31+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=4 name=“server report failures alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:31+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=17 name=“TiKV channel full alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:31+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=16 name=“server report failures alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:31+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=5 name=“TiKV channel full alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:32+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=64 name=“Transaction Statement Num alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:32+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=65 name=“Transaction Retry Num alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:32+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=74 name=“server report failures alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:32+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=75 name=“TiKV channel full alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:36+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=59 name=“Get Token Duration alert” error=“Could not find datasource Data source not found” changing state to=alerting
t=2022-04-28T17:32:37+0800 lvl=eror msg=“Alert Rule Result Error” logger=alerting.evalContext ruleId=52 name=“TiKV raft store CPU alert” error=“Could not find datasource Data source not found” changing state to=alerting

重装一下grafana吧

重新安装,以后就不报错了吗?我的grafana什么也没有变更过,配置都没有动过,这个是不是别的原因引起的?

我把这个alter rules暂停了,感觉这也没啥用吧

要是版本和我的一致的话,应该是同一个问题,新版本已经修复了。
重新下吧,重装后就是新的面板,如果你自定义过一些面板都会初始化掉,重要的话备份下

肯定是有用的,只是有些监控项我们不太关注罢了~

你重新安装,是安装的新版本吗?

这些规则,感觉应该是推送告警用的,比如微信,短信等,平时没有看过这些alert,都是看grafana其他的面板界面。

重装的还是和你tidb集群版本对应的版本

是的这个面板列表里的都是定义的告警

用新版本的 tiup cluster 重装下 grafana 吧

tiup cluster -v
1.9.4

你的意思,是升级一下tiup工具吗?然后重新安装一下grafana