V6.5 ticdc 延迟问题

【 TiDB 使用环境】生产环境
【 TiDB 版本】
V6.5
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
正在测试v6.5版本的ticdc同机房同步到下游mysql,基本都是秒内,但是13:39左右会有延迟问题到40S左右,是不是NotLeader
和RPCCtxUnavailable 和region balance导致,以及如何解决延迟,达到基本都是秒内的效果
【资源配置】
【附件:截图/日志/监控】


看下具体的日志有没有什么记录
能验证你的猜想…

没看出啥报错来,当我一个事物500个然后提交,延迟有些大1.4min,这个怎么处理,看官方只对大于1024的事物拆分

这块可以参考 cdc事务拆分的配置了,目前这也是业界的做法了

包括 Mysql 也在对binlog 生成的文件进行拆分,canal 模拟 slave 去获取binlog 日志时,也会对日志进行拆分读取,但是处理上会保持事务上的一致性的约定…

很简单的一个原理: 超大的事务,如果完全一次性读取和处理,需要占用更多的 内存和网络,如果不具备这个条件,只能拆了之后,采用其他的方式来维持事务的一致性了

哪个参数控制事物超过多大进行拆分?

参考文档就可以了

应该不是拆分大事务的配置问题,6.5 默认是拆分大事务的,不需要配置。
看时间和上游 tikv leader 有大量切换相关,第一个监控 sink write row 为啥没数据?

ticdc 确实有这样的问题,以前老版本也有。这种突然出现的延迟尖刺,应该是 tidb 集群有 leader 切换或者 region 合并之类导致的

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。