Tidb cdc 写入kafka 配置压缩

表渣本渣 · 2022 年11 月 30 日 04:14

【 TiDB 使用环境】生产环境
【 TiDB 版本】 5.4.1

【遇到的问题：问题现象及影响】

tidb cdc 写kafka 没有配置压缩，导致kafka 流量上线，数据消费异常；

【资源配置】
【附件：截图/日志/监控】

查看文档资料，未找到相关配置，想来想去还是直接加测试一下吧，增加配置（不知道那个，就两个都加上）如下：
&kafka.compression.type=snappy&compression.type=snappy

不知道会不会有效

表渣本渣 · 2022 年11 月 30 日 14:12

观察了一天，没有起效

Meditator · 2022 年12 月 1 日 02:04

看官方文档，kafka的sink url 没有提供compression.type这个参数，应该是硬编码在ticdc中，可以提issue

表渣本渣 · 2022 年12 月 2 日 06:08

谢谢，抱拳了

system · 2023 年1 月 31 日 06:09

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。