ticdc 从v5.3.0升级到v6.1.1出现kafka消息发送失败问题

【 TiDB 使用环境】测试
【 TiDB 版本】v6.1.1
【遇到的问题】
由V5.3.0升级v6.1.1之后, cdc to kafka 出现堵塞,显示错误见附件(kafka设置的最大消息为250M)

【复现路径】
升级之后未做任何修改(protocol由default改为open-protocol, 不改cdc会报错,提示未设置协议)

【问题现象及影响】
cdc出现卡顿后,还在不停的向kafka发送消息,现象是过去一段时间的增量日志重复发送,导致kafka流量爆满, 然后cdc进度不走, 应该是有一张表有问题,而在这张表前面解析的表会死循环反复重试处理。

看了下报错信息堆栈,新版依赖的 github.com/Shopify/sarama v1.29.2 和 老版本v5.3.0依赖的 github.com/Shopify/sarama v1.27.2 源码并没有做什么改动,详细如下:
image
image

这个参数是写死的

【附件】
image

image

还是别升级太高版本

2 Likes

可以尝试在zookeeper里清一下kafka的快照,重新连接试一下

2 Likes