使用cdc同步tidb到kafka集群时,如何配置kafka集群地址

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【概述】场景+问题概述
从tidb同步数据到下游的kafka集群

【TiDB 版本】
v5.0.2

创建同步任务,指定配置文件

tiup ctl cdc changefeed create --pd=http://10.103.236.178:3379
–sink-uri=“kafka://10.99.110.10:9092/tidb-xiqu178-cdc-to-canal?kafka-version=2.4.1&partition-num=3&max-message-bytes=67108864&replication-factor=1”
–changefeed-id=“cdc-kafka-canal-json”
–config cdc_canal_json.conf

我的问题:
1,在–sink-uri="kafka://10.99.110.10:9092/tidb-xiqu178-cdc-to-canal 这里,如果我这边是三个节点的kafka集群,那在这里要如何配置呢?

2,如果在kafka集群前加个nginx代理或是F5,那在–sink-uri这里配置成nginx代理或是F5的地址可以吗?

1 个赞

可以

这个配置任意一个 kafka 节点,看下是否可以呢。

加一个节点的ip没有问题

但是我想,如果前面没有代理ip或是F5,那在–sink-uri这里配置的ip为单个地址,如果这个机器出现问题,比如说机器连接不上了,或是此机器做规化的维护,那就要人为介入了,这样的话有些不灵活了。

暂时没有提供做过 Kafka 前端配置 F5 的方式,理论上是支持的 LB 的。需要按照 Kafka 的 load balance 配置方式进行配置,然后 TiCDC 配置 Kafka 的 LB 的配置。可以验证一下是否可行。Confluent Documentation | Confluent Documentation

ok,谢谢!

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。