TiCDC 告警指标

🪐 TiDB 技术问题 部署&运维管理
1

【 TiDB 使用环境】生产
【 TiDB 版本】5.0.4
【遇到的问题】

  1. 为什么会出现大量延迟情况

  2. 怎么解决这些告警

告警指标出现很多告警：
告警指标cdc_checkpoint_high_delay mertics：
(time() - ticdc_processor_checkpoint_ts /1000) >600
告警查询结果：

image
image3434×782 213 KB

查看changefeed checkpoint_ts情况：
image

grafana延迟情况：

image
image1706×524 134 KB

2

点击grafana指标中 看看【changefeed checkpoint】这个指标是如何计算出来的？

3
  1. 两个指标不一样，不能一起对比。
changefeed checkpoint lag --dashboard
max(ticdc_owner_checkpoint_ts_lag{tidb_cluster="$tidb_cluster", changefeed=~"$changefeed"}) by (changefeed)

cdc_checkpoint_high_delay告警指标：
(time() - ticdc_processor_checkpoint_ts /1000) >600
  1. 大佬 cdc_checkpoint_high_delay 延迟出现告警怎么消除呢
4

可以先参考文档排查下
https://docs.pingcap.com/zh/tidb/stable/ticdc-alert-rules#cdc_checkpoint_high_delay

5