ticdc同步到kafka配置问题

tidb 4.0.13版本

问题:kafka限制了网络包大小为4MB,但是ticdc配置如下(一个任务是单个表),还是会触发【 Message was too large, server rejected it to avoid allocation error.】
“max-batch-size”: “1”,
“max-message-bytes”: “1048576”

想咨询一下这个文档的https://docs.pingcap.com/zh/tidb/v4.0/manage-ticdc max-batch-size参数对Maxwell协议是生效吗,因为文档标注了仅对default生效,如果maxwell协议不生效,默认值是16嘛?

下游kafka配置max.bytes 能加大吗?

根据您提供的信息,TiCDC 的 max-batch-size 参数是用于指定每个 Kafka 消息中的最大数据更改数量的。然而,根据 TiDB 文档中的说明,max-batch-size 参数目前仅在 Kafka 的 protocol 设置为 open-protocol 时生效[1]。对于 Maxwell 协议,max-batch-size 参数可能不会生效。

关于默认值的问题,TiDB 文档中没有明确提到 Maxwell 协议的默认值是多少。因此,我建议您在 TiDB 配置文件中查找有关 Maxwell 协议的默认值设置,或者参考 Maxwell 的官方文档以获取更多关于默认值的信息。

如果您遇到了 Kafka 消息过大的问题,导致被拒绝的错误,您可以尝试调整 TiCDC 的 max-batch-size 参数,以确保每个 Kafka 消息的数据更改数量不超过 Kafka 的限制。

希望这些信息对您有所帮助。如果您有任何其他问题,请随时提问。

[1]: manage-ticdc

kafka是全公司全局标准化的配置,暂时不支持变更配置,所以比较尴尬,先试试将message改成256KB试试吧

不生效啊