【 TiDB 使用环境】测试
【 TiDB 版本】v6.1.1
【遇到的问题】
由V5.3.0升级v6.1.1之后, cdc to kafka 出现堵塞,显示错误见附件(kafka设置的最大消息为250M)
【复现路径】
升级之后未做任何修改(protocol由default改为open-protocol, 不改cdc会报错,提示未设置协议)
【问题现象及影响】
cdc出现卡顿后,还在不停的向kafka发送消息,现象是过去一段时间的增量日志重复发送,导致kafka流量爆满, 然后cdc进度不走, 应该是有一张表有问题,而在这张表前面解析的表会死循环反复重试处理。
看了下报错信息堆栈,新版依赖的 github.com/Shopify/sarama v1.29.2 和 老版本v5.3.0依赖的 github.com/Shopify/sarama v1.27.2 源码并没有做什么改动,详细如下:
这个参数是写死的
【附件】