ticdc的changefeed状态式正常,但是checkpoint不推进

【 TiDB 使用环境】生产环境
【 TiDB 版本】7.1.1
ticdc报警cdc_checkpoint_high_delay 监控查看

当时cdc的日志
日志 (3.8 MB)

应该怎么排查, 网络正常 组件都正常的
日志里大量


这个错误

查看当时的PD监控



有大佬给个思路么

看看这个

  • Resolved TS:指 CDC 从 TiKV 接收数据时产生的延迟。若该延迟上升,则可以推断是 TiKV-CDC 模块(即 TiKV 上负责向 CDC 发送数据的模块)内部产生了延迟。另一种可能的情况是,Changefeed 内部的 KV-Client / Puller / DB Sorter 等模块在搜数据时产生了延迟。如观察到 Resolved 的 TS 上升,就需要查 TiKV-CDC、KV-Client、Puller、DB Sorter 部分的健康状态。

问题事件tikv 大量报错 cdc找不到 region leader


但是那个时间点看tikv的leader没有波动

1 个赞

请至少升级到v7.1.3, v7.1.1 ticdc 各种bug,基本上没法用
求助:V7.1.1 新增同步任务到下游 TiDB 数据库导致TICDC不断重启 - #19,来自 TiDBer_小阿飞

1 个赞

这种错误很常见,一般不是阻止tso推进的根因,可以看下cdc leader 的日志有没有相关报错信息,之前遇到过cdc延迟一直上涨,tso不推荐,是因为有dml语句,表没有索引导致下游执行时间超过2min。看监控图,现在是恢复了吗?可以 pause,resume 下看看

升级可能更靠谱,这个版本的ticdc很多bug