ticdc传输数据到kafka中一条record信息中包含了两张不同表的信息

【 TiDB 使用环境`】测试环境
【 TiDB 版本】5.3.1
【遇到的问题】
ticdc传输数据到kafka中一条record信息中包含了两张不同表的信息,请问这种现象正常吗,是否有什么设置可以规避这种情况发生。


【复现路径】TICDC 创建任务 tidb 到 kafka
【问题现象及影响】

1.同步的配置文件发一下
2. 需求是一个表对应一个topic?

case-sensitive = true

enable-old-value = true

force-replicate = true

[filter]

rules = [‘dp_test.*a_tt’,‘dp_test.a_a_n613b’,‘dp_test.a_a_n_613a’]

[mounter]

worker-num=16

[sink]

protocol = “default”

[cyclic-replication]

enable = false

replica-id = 1

filter-replica-ids = [2,3]

sync-ddl = true

目的地端是kafka 我们本地自测的时候大部分情况 一条record的key和value都是同一张表的信息
我们根据kafka record的key 解析key来确定表明,目前kafka record的可以包含了两张表的表明 导致把不同表的数据当作 一张表的数据进行处理了 然后还有一个问题 value 的值
D{{“u”:{“AccountAttr”:{ 还有DY{“u”:{“AccountAttr”:{ 这种 想问下 什么情况下是D{{ 什么情况下是DY{

我们希望 kafka topic中一条record的数据 key和value 只包含同一张表的信息

这个只设置需要的表即可

您好 我就是这样配置的 但是一条record的数据的key 包含了 a_a_n613b 、 a_a_n_613a 两张表的信息。
麻烦请教下 record value的数据
D{{“u”:{“AccountAttr”:{ 还有DY{“u”:{“AccountAttr”:{ 这种 想问下 什么情况下是D{{ 什么情况下是DY{
这个有相关的文档吗

第一个问题,如果只想要topic里只出现一张表的数据,filter配置成单表就可以。
第二个问题。你在详细说下

第一个问题是 是一张表启动一个ticdc任务
还是 配置文件里
[filter]
rules = [‘dp_test.*a_tt’,‘dp_test.a_a_n613b’,‘dp_test.a_a_n_613a’]
配置成这样就可以

第二个问题
消费topic中的数据 查出来的value 如下图 想问下 什么情况下开头是 “D{{” 什么情况下是“DY{”

这个我也不清楚,看起来都是在insert数据

https://github.com/pingcap/tiflow/blob/master/examples/java/src/test/java/com/pingcap/ticdc/cdc/TicdcEventDecoderTest.java

你可以看下这个

“DY” 是 value 的长度在 ascii 中的表示。

详见: TiCDC Open Protocol | PingCAP Docs