TiCDC V5.2.1 貌似bug导致cdc任务阻塞

【 TiDB 使用环境】 生产环境 【 TiDB 版本】 V5.2.1 【遇到的问题】 TiCDC同步任务阻塞,日志里狂刷The resolvedTs is fallen back in kvclient`,查看这个阶段所有warn信息

627204 "The resolvedTs is fallen back in kvclient"
250024 "region not receiving resolved event from tikv or resolved ts is not pushing for too long time, try to resolve lock"
16151 "failed to resolve lock"
8009 "lock txn not found, lock has expired"
842 "getTxnStatusFromLock backoff fail"

【复现路径】做过哪些操作出现的问题
【问题现象及影响】
TiCDC同步延迟,checkpoint lag不断增大,所有cdc任务的状态都是normal
image
【解决办法】
目前在论坛查到貌似是bug,在5.1.4,5.2.2及5.3.x之后的版本已经修复https://github.com/tikv/tikv/pull/10976
类似的贴子https://asktug.com/t/topic/68808
这个问题之前也遇到过几次了,临时的解决办法是尝试重启cdc进程,还无法恢复的话需要重启tikv进程,最终解决办法就是升级到新版本

强烈建议不要使用5.2.1版本,有使用的尽快升级到5.2.3或5.3.0及以上版本

这个问题和 TiCDC take long time (may be a day) to recover from TiKV cluster failover · Issue #4516 · pingcap/tiflow (github.com) 很像。

将在近期发布的 5.2.4 中解决,或者升级到 5.3.1,也解决了这个问题。

v5.4.0 也遇到了这个问题

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。