TiCDC导出数据至Pulsar的问题

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：v4.0.5
  • 【问题描述】：我这边安装TiCDC后，尝试将TiDB中的数据导出至Pulsar。当我还未对数据库进行任何操作时，不知道你们有没有遇到Pulsar会不断收到1个字节的消息，内容为00000000，频率大概在每秒2-3条。

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

3 个赞
2

能否发一下具体的消息输出看一下 ？另外 Pulsar 版本是多少 ？

1 个赞
3

pulsar的版本是2.6，消息的输出，我打印出来的payload就是长度为8的byte数组，均为0；

2 个赞
4

补充下，当我对一些表做update操作，消息也能正常过来；但是不知道为什么会有许多这种8个字节（前面说错了，不是1个字节，是8个字节）的0

2 个赞
5

您好，您的问题可能与一个CDC的bug有关，为了更好确认能否提供一下changefeed的配置？

1 个赞
6

changefee.toml (1.6 KB)

启动命令是：

cdc cli changefeed create --pd=http://10.177.97.149:2379 --sink-uri=“pulsar://10.177.97.158:6650/tidbtest2?connectionTimeout=10s&disableBatching=false&auto.token=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJsYWthbGEifQ.1U0eHGfXooVH44updrAh7UiJIWDKQbEJjKZiUn74Sx4” --config ./changefee.toml

1 个赞
7

您好，请您检查一下对应的message的key是什么呢？如果key中有类似如下的内容，那么这是预期的行为。
{ "ts":<TS>, "t":3 }。
请您参阅 https://docs.pingcap.com/zh/tidb/stable/ticdc-open-protocol#resolved-event

1 个赞
8

谢谢，明白了。

9

:+1: 感谢反馈 :ok_hand:

10

key:[M{“ts”:431430871470571524,“scm”:“samp_db”,“tbl”:“pageviews_day”,“rid”:3,“t”:1}], properties:[protocol=0, schema=samp_db, table=pageviews_day, ts=431430871470571524, type=1], content:�{“u”:{“daytime”:{“t”:15,“h”:true,“f”:26,“v”:“2022-12-30”},“pv”:{“t”:3,“f”:65,“v”:18},“uv”:{“t”:3,“f”:65,“v”:1}},“p”:{“daytime”:{“t”:15,“h”:true,“f”:26,“v”:“2022-12-30”},“pv”:{“t”:3,“f”:65,“v”:17},“uv”:{“t”:3,“f”:65,“v”:1}}}

用PulsarDeserializationSchema.valueOnly(new SimpleStringSchema())解码key部分就是乱码，你知道什么原因吗
�{“u”:{“daytime”:{“t”:15,“h”:true,“f”:26,“v”:“2022-12-30”},“pv”:{“t”:3,“f”:65,“v”:20},“uv”:{“t”:3,“f”:65,“v”:1}},“p”:{“daytime”:{“t”:15,“h”:true,“f”:26,“v”:“2022-12-30”},“pv”:{“t”:3,“f”:65,“v”:19},“uv”:{“t”:3,“f”:65,“v”:1}}}

11

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。