CDC同步到kafka 分发器使用问题

🪐 TiDB 技术问题 备份&数据迁移
1

TIDB版本：6.5.3
根据官网文档https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-kafka#partition-分发器
cdc同步到kafka时，可以通过使用topic表达式来自动分发， 我想指定topic的名字，例如：
{matcher = [‘test1.', 'test5.’], topic = “test”, partition = “table”},

创建任务提示 Error: [CDC:ErrKafkaTopicExprInvalid]invalid topic expression
然后我看到
https://github.com/pingcap/tiflow/blob/master/docs/design/2022-01-20-ticdc-mq-sink-multiple-topics.md
这个文档里面 有个例子

image
image1045×184 4.22 KB

请问下，6.5.3 可以支持指定topic名字的分发机制吗？

2

官档上说可以，你写的是什么样会报错？

3

这个是我我的配置文件 我也在想我是不是写错了
配置文件：

image
image707×246 4.08 KB

tiup cdc cli changefeed create --pd=http://192.168.1.181:2379 --sink-uri=“kafka://192.168.1.190:9094/fent?kafka-version=2.7.0&protocol=canal-json&partition-num=3&replication-factor=3&compressionType=lz4” --config test-cdc.yaml --start-ts=442982603718393968 --changefeed-id=fent

4

Topic 分发器用 topic = “xxx” 来指定

试一下单引号改为双引号呢？

5

测试过了， 就是提示invalid topic expression
难道不用表达式不行？

6

partition = “xxx” 加上试试看？

7

试过了。 一样的效果
不知道是不是6.5.3不支持还是怎么样了。

8

https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-kafka#topic-分发器

  • {schema}：必选项，用于匹配库名。