DM怎么添加告警

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:DM v1.0.3
  • 【问题描述】:

dm同步中没看到怎么添加告警。比如要添加同步状态task-state != 2(只要不是running状态都告警)的告警,在哪里可以添加?

我试着修改 deploy/conf/dm_worker.rules.yml,然后使用ansible-playbook rolling_update_monitor.yml,看到刚修改的配置被覆盖了

在 deploy 之后的文件里修改,再次 rolling_update_monitor 是会再次覆盖修改的内容。尝试在原始的配置文件里改下:/dm-ansible/conf/dm_worker.rules.yml

我修改了同步状态监控的时间,原来是10m,我改为1m,然后rolling_update_monitor,通过dmctl,pause-task超过1分钟后,仍然没有告警

暂停任务超过10分钟,也没有告警信息

确认下告警一直是可用的还是说现在在配置告警?如果现在在配置告警,参考这里:

https://book.tidb.io/session3/chapter4/prometheus-guide.html

如果告警之前一直可用,改了数据之后不可用,看下 alertmanager 的日志信息。

原来是可用的,就是ansible默认安装的。

然后我把上面截图中的DM_task_state中for:20m,改为:for:1m

执行rolling_update_monitor后,我暂停了同步任务,见上面截图,但没有收到告警

查看alertmanager日志,有报错信息如下:

这里有个同样的问题 case ,可以参考下:

https://github.com/easzlab/kubeasz/issues/448

忘了说,我这边是使用钉钉告警通道
默认的告警都能收到

然后我就修改了下默认那个DM_task_state触发时间为1m,重启后就是收不到

或者尝试把 1m 稍微改大看下效果。