【 TiDB 使用环境】生产环境
【 TiDB 版本】v7.5.4
tidb集群从v7.5.3升级到v7.5.4,发现一个TiCDC的BUG。
过程如下:
ticdc同步一张表,以canal-json协议发送到kafka。这个表中有个字段是是longblob。
这个字段的数据是先压缩,然后转化成二进制保存到这个字段中。
v7.5.3的版本,获取到kafka中的消息时,需要先将字段内容从 iso8859-1转化成utf-8,然后再解压缩
v7.5.4的版本,kafka中的消息,直接就是utf-8,不需要转换
相关内容:Bug in TICDC v7.5.4 version related to binary fields · Issue #11771 · pingcap/tiflow · GitHub
看你的描述,这是v7.5.4做了优化吧。
请确认下数据是否一致,下游consumer是否有改动,7.5.4和7.5.3没有针对这个问题有相关改动tiflow/pkg/sink/codec/canal/canal_entry.go at v7.5.4 · pingcap/tiflow · GitHub
tiflow/pkg/sink/codec/canal/canal_entry.go at v7.5.3 · pingcap/tiflow · GitHub
没有的,这个是同样的数据验证出来的。这个升级会导致代码报错
只能查看官方文档和更新日志:确认是否有关于此更改的官方说明或更新日志,了解是否有意为之的变更。