【 TiDB 使用环境`】测试环境
【 TiDB 版本】5.3.1
【遇到的问题】
ticdc传输数据到kafka中一条record信息中包含了两张不同表的信息，请问这种现象正常吗，是否有什么设置可以规避这种情况发生。
【复现路径】TICDC 创建任务 tidb 到 kafka
【问题现象及影响】
【复现路径】TICDC 创建任务 tidb 到 kafka
【问题现象及影响】
1.同步的配置文件发一下
2. 需求是一个表对应一个topic？
case-sensitive = true
enable-old-value = true
force-replicate = true
[filter]
rules = [‘dp_test.*a_tt’,‘dp_test.a_a_n613b’,‘dp_test.a_a_n_613a’]
[mounter]
worker-num=16
[sink]
protocol = “default”
[cyclic-replication]
enable = false
replica-id = 1
filter-replica-ids = [2,3]
sync-ddl = true
目的地端是kafka 我们本地自测的时候大部分情况 一条record的key和value都是同一张表的信息
我们根据kafka record的key 解析key来确定表明，目前kafka record的可以包含了两张表的表明 导致把不同表的数据当作 一张表的数据进行处理了 然后还有一个问题 value 的值
D{{“u”:{“AccountAttr”:{ 还有DY{“u”:{“AccountAttr”:{ 这种 想问下 什么情况下是D{{ 什么情况下是DY{
我们希望 kafka topic中一条record的数据 key和value 只包含同一张表的信息
这个只设置需要的表即可
您好 我就是这样配置的 但是一条record的数据的key 包含了 a_a_n613b 、 a_a_n_613a 两张表的信息。
麻烦请教下 record value的数据
D{{“u”:{“AccountAttr”:{ 还有DY{“u”:{“AccountAttr”:{ 这种 想问下 什么情况下是D{{ 什么情况下是DY{
这个有相关的文档吗
第一个问题，如果只想要topic里只出现一张表的数据，filter配置成单表就可以。
第二个问题。你在详细说下
第一个问题是 是一张表启动一个ticdc任务
还是 配置文件里
[filter]
rules = [‘dp_test.*a_tt’,‘dp_test.a_a_n613b’,‘dp_test.a_a_n_613a’]
配置成这样就可以
第二个问题
消费topic中的数据 查出来的value 如下图 想问下 什么情况下开头是 “D{{” 什么情况下是“DY{”
这个我也不清楚，看起来都是在insert数据
您好 例如我们这边ticdc任务配置了同步3张表的数据 TABLE A B C
[filter]
rules = [‘dp_test.A’,‘dp_test.B’,‘dp_test.C’]
现在遇到的问题的是
topic中某一条record， key包含了A B 两张表的信息， value也包含了A B两张表的数据信息 出现在了同一条record里。
我们认为一条record的key和value应该就是一张表的信息变更而不是两张表的。
麻烦请教下 这种情况该如何避免 是不是我们哪里设置的不对 辛苦 谢谢
配置如果是这样。是正常的
麻烦请问 什么样的配置可以做到 topic中每一条record， key值只包含一张表的信息
如果无法保证一条record的key仅包含一张表的信息，那么解析record时候，由于key value包含了两张表信息，那么如何将两张表的信息一一对应上。 求教。感谢
[filter]
rules = [‘dp_test.A’]
只同步一张表，将三张表拆分 或者使用6.1的 https://docs.pingcap.com/zh/tidb/stable/manage-ticdc#topic-分发器
想确认下ticdc 5.3.0版本是否支持 Canal-JSON Protocol
5.3.0的 canal 有相应的文档可以查看吗
5.3不支持
cdc cli changefeed create --pd=http://10.0.10.25:2379 --sink-uri=“kafka://127.0.0.1:9092/cdc-test?kafka-version=2.4.0&protocol=canal” --config changefeed.toml
canal是支持的
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。