【 TiDB 使用环境】生产环境 /测试/ Poc
测试
【 TiDB 版本】
7.5.2
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
canal-json在启动任务的时候配置了扩展字段enable-tidb-extension=true,下游kafka上会不断收到type=“TIDB_WATERMARK”的数据,即便源表没有做变更也会不断收到这个数据,有办法过滤嘛
【 TiDB 使用环境】生产环境 /测试/ Poc
测试
【 TiDB 版本】
7.5.2
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
canal-json在启动任务的时候配置了扩展字段enable-tidb-extension=true,下游kafka上会不断收到type=“TIDB_WATERMARK”的数据,即便源表没有做变更也会不断收到这个数据,有办法过滤嘛
在配置 enable-tidb-extension=true
时,TiCDC 会在 Canal-JSON 消息中添加 TiDB 扩展字段,并且会发送 WATERMARK 事件。这些 WATERMARK 事件用于指示在此时间点之前接收到的事件已经完成。
根据 TiCDC Canal-JSON 协议的描述,WATERMARK 事件是特定类型的事件,表示一个特殊的时间点,表明在此之前的所有事件都已完成。因此,WATERMARK 事件是 TiCDC 发送的正常数据流的一部分。
如果你希望过滤下游 Kafka 中持续接收的 type='TIDB_WATERMARK'
数据,TiCDC 本身并没有提供直接的过滤机制来排除这些 WATERMARK 事件。你可能需要在下游 Kafka 消费者中实现过滤逻辑,以忽略这些特定类型的事件。
有关 Canal-JSON 协议和 TiDB 扩展字段的更多信息,可以参考以下链接:TiCDC Canal-JSON Protocol。
啊这。。。我只能理解为这个附件字段是在sink模块做的,不受filter的逻辑控制,所以无法过滤了
这个应该是心跳导致的吧,没有变更也需要探活 我理解。这玩意忽略就好了吧。