xxxxxxxx
(Hacker Z Vu Xy Nh8)
2023 年10 月 30 日 09:14
1
tidb 4.0.13版本
问题:kafka限制了网络包大小为4MB,但是ticdc配置如下(一个任务是单个表),还是会触发【 Message was too large, server rejected it to avoid allocation error.】
“max-batch-size”: “1”,
“max-message-bytes”: “1048576”
想咨询一下这个文档的https://docs.pingcap.com/zh/tidb/v4.0/manage-ticdc max-batch-size
参数对Maxwell协议是生效吗,因为文档标注了仅对default生效,如果maxwell协议不生效,默认值是16嘛?
根据您提供的信息,TiCDC 的 max-batch-size
参数是用于指定每个 Kafka 消息中的最大数据更改数量的。然而,根据 TiDB 文档中的说明,max-batch-size
参数目前仅在 Kafka 的 protocol
设置为 open-protocol
时生效[1] 。对于 Maxwell 协议,max-batch-size
参数可能不会生效。
关于默认值的问题,TiDB 文档中没有明确提到 Maxwell 协议的默认值是多少。因此,我建议您在 TiDB 配置文件中查找有关 Maxwell 协议的默认值设置,或者参考 Maxwell 的官方文档以获取更多关于默认值的信息。
如果您遇到了 Kafka 消息过大的问题,导致被拒绝的错误,您可以尝试调整 TiCDC 的 max-batch-size
参数,以确保每个 Kafka 消息的数据更改数量不超过 Kafka 的限制。
希望这些信息对您有所帮助。如果您有任何其他问题,请随时提问。
[1] : manage-ticdc
xxxxxxxx
(Hacker Z Vu Xy Nh8)
2023 年10 月 30 日 09:32
4
kafka是全公司全局标准化的配置,暂时不支持变更配置,所以比较尴尬,先试试将message改成256KB试试吧