ticdc将tidb新增数据写入pulsar,pulsar消费新增数据,无法解析新增数据

【概述】 场景 + 问题概述
TiCDC新增任务:将新增数据写入pulsar
配置如下:
tiup cdc cli changefeed create
–pd=http://192.168.56.103:2379
–sink-uri=“pulsar://192.168.56.103:6650/ticdc_incrementdata_pvuv?connectionTimeout=10s&disableBatching=false”
–changefeed-id=“ticdc-pulsar”

在linux命令行能看到ticdc将新增数据写入pulsar主题如下:
key:[M{“ts”:431542952384266243,“scm”:“samp_db”,“tbl”:“pageviews_day”,“rid”:3,“t”:1}], properties:[protocol=0, schema=samp_db, table=pageviews_day, ts=431542952384266243, type=1], content:�{“u”:{“daytime”:{“t”:15,“h”:true,“f”:26,“v”:“2022-12-30”},“pv”:{“t”:3,“f”:65,“v”:99},“uv”:{“t”:3,“f”:65,“v”:6}},“p”:{“daytime”:{“t”:15,“h”:true,“f”:26,“v”:“2022-12-30”},“pv”:{“t”:3,“f”:65,“v”:98},“uv”:{“t”:3,“f”:65,“v”:6}}}

但是用idea代码消费这个主题只能拿到content:后面的部分,拿不到key部分的数据
代码如下:
Consumer consumer = pulsarClient.newConsumer()
.topic(“persistent://public/default/ticdc_incrementdata_pvuv”)
.subscriptionName(“my-subscription”)
.subscribe();


�{“u”:{“daytime”:{“t”:15,“h”:true,“f”:26,“v”:“2022-12-30”},“pv”:{“t”:3,“f”:65,“v”:98},“uv”:{“t”:3,“f”:65,“v”:6}},“p”:{“daytime”:{“t”:15,“h”:true,“f”:26,“v”:“2022-12-30”},“pv”:{“t”:3,“f”:65,“v”:97},“uv”:{“t”:3,“f”:65,“v”:6}}}

不知道原因
【TiDB 版本】
v5.3

参考一下这个问题中,各位老师给的答案,ticdc同步到kafka出现异常字符
@xfworld 提到用protobuf解析,这个办法比较正统,或者说,你就是想拿到一个json,可以尝试用5.4.0的canal-json

我想拿到key部分的数据,想拿到数据库名及表名,现在只能拿到字段部分的json,pulsar和kafka不太一样,没有找到怎么得到key的方法

可能是版本问题吧

建议尝试canal-json,从json中分析看看能不能拿到你所需要的信息

pulsar中没有配置protocol的参数,和kafka不一样

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。