5.1.0 ticdc 增量从一个集群到另一个tidb集群 ticdc不推进

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】5.1.0
【复现路径】br恢复到一个新实例,然后根据ts点增量同步是 ticdc卡住
【遇到的问题:问题现象及影响】

【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

任务无暂停也无法删除


看着有点乱,建议在整理下…

是源没配置正确 还是没消费掉

一个环节一个环节排除确认下。

  1. 当前一个 cdc 任务卡主其他任务是不预期的。是 5.1 版本已知问题,需要升级。6.5以上版本解决
  2. cdc 对表 id 较多的情况,初始化 & 调度是串行的,导致 8w+ 个表的元信息加载时间很长,导致新建任务一直在初始化。6.5-7.1 有优化,7.5 彻底解决。

解决方案:

  1. 升级集群到新版本
  2. 不能升级的话:
    1. 停止 CDC 进程
    2. 当前正常删除任务方法不行,使用 etcdctl 直接删除 pd 中 cdc 相关元信息。
    3. 删除后拉起 cdc 服务即可
    4. 后续需要对同步任务拆表处理,推荐一个任务不要超过 2000 个 table id。

推荐:

  1. 低版本比如 5.1 可以考虑试试 binlog。cdc 使用推荐 6.1+ 版本。
  2. 5.1 版本 2024 6 月 EOL。推荐尽快升级