ticdc 报错 a single changefeed exceed etcd txn max size:1310720

【 TiDB 使用环境】生产环境
【 TiDB 版本】v5.4.2
【遇到的问题:问题现象及影响】
cdc 同步异常重启后,无法启动
看报错是txn size 过大

6.1 之后 CDC 支持事务拆解的

目前的版本,只能从服务的粒度上拆解,减少事务大小

我能不能用6.1 的cdc 在5.4 的tidb集群跑

不能,tidb 的组件的版本最好一致…

而且 5.X 和 6.X 跨了大版本号,很有可能不兼容…

好吧,我用br吧, 毕竟业务不是立马就能改的。感谢回复

你好,这个报错的意思是一个 changefeed 包含的元数据信息已经超过了单个 etcd 事务能够处理的大小。该问题应该是一个 changefeed 同步太多张表引起的,请问你一个 changefeed 同步了多少张表呢?
如果不愿意升级 cdc 版本,那么可能的解决方案如下:

  1. 记录当前 changefeed 的 checkpointTs。
  2. 停止上游 tidb 集群的 gc 。
  3. 删除掉 etcd 内该 changefeed 的元数据。
  4. 启动新的同步任务,设置 startTs 为刚刚记录的 checkpointTs,并且每个 changefeed 不要同步超过 500 张表。

目前这个问题在 6.0.0 及之后的版本已经得到解决,你可以考虑使用 6.1.2 的 cdc 来进行同步,按照目前测试结果来看 6.1.2 cdc 是兼容 5.4.2 的 tidb 的。

1969张表,1个changefeed
image
我已经重新删除etcd元信息,重新同步了
ps: 如果cdc有txn异常,就会循环重启,只能操作etcd 来管理,希望官方有一些命令说明,方便管理

有没有一个说名就是 哪些版本cdc可以像下兼容哪些版本tikv, 6.1.2 CDC能否兼容5.2.3

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。