大量插入数据情况下cdc任务挂掉

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:4.0.8
  • 【问题描述】:大量插入数据情况下cdc任务挂掉
    CDC:ErrKafkaAsyncSendMessage]kafka: Failed to produce message to topic test-cdc: kafka server: Message was too large, server rejected it to avoid allocation error.

cdc_stderr.log (885 字节)
MKcdc.log (72.3 KB)

因为插入的数据命令很多 所以追不到具体的报错的语句
报错日志参阅附件
推测kafka只有单节点是问题所在 cdc对于目标的kafka有没有推荐的配置或者建议?
一下就挂掉有点措手不及

在kafka的配置文件尝试修改一下如下参数呢:

#broker能接收消息的最大字节数
message.max.bytes=2147483648
#broker可复制的消息的最大字节数
replica.fetch.max.bytes=2147483648
#消费者端的可读取的最大消息
fetch.message.max.bytes=2147483648

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。