ticdc同步到kafka报错问题二

🪐 TiDB 技术问题
1

tidb 4.0.13 版本遇到ticdc同步到kafka报错问题。

背景描述
tidb集群需要将数据变更记录通过ticdc同步到下游kafka，已知kafka的 max.message.bytes配置是限制了4MB，现在ticdc的配置如下还是会报错【kafka server: Message was too large, server rejected it to avoid allocation error】，目标表有9张。

      "max-batch-size": "1",
      "max-message-bytes": "1048576"

另外我看官方文档介绍说没法通过ticdc端去控制这个报错，需要通过kafka端限制，但是kafka是另一个部门的服务，已知是没法去变更配置，想请问一下该怎么排查，以及还有哪些配置能优化一下
https://docs.pingcap.com/zh/tidb/stable/troubleshoot-ticdc#使用-ticdc-同步消息到-kafka-时-kafka-报错-message-was-too-large该如何处理

2

你可以去kafka查看下 每次发送消息的内容和大小 看看是什么数据比较大，如果kafka端没法改参数，你可以把cdc的同步任务拆分成多个同步任务执行

3

kafka是上级公司的，我们是子公司没法去查看，也没法申请变更配置之类的。

4

你都能给他发数据了 肯定是有kafka地址啊 用这个命令查看topic的数据 kafka-console-consumer.sh --bootstrap-server ip:9092 --topic topicname

5

实在不行你就起9个cdc任务 每个表配置一个任务