ticdc链接kafka报错

【 TiDB 使用环境`】生产
【 TiDB 版本】5.4
【遇到的问题】ticdc链接kafka报错
【复现路径】tiup cdc cli changefeed create --pd=http://127.0.0.1:2379 --changefeed-id=“kafka-canal-json” --sink-uri=“kafka://127.0.0.1:9092/tidb?kafka-version=2.4.0&protocol=canal-json”
【问题现象及影响】
[2022/08/25 17:54:44.103 +08:00] [WARN] [etcd.go:243] [“found etcd key with reserved cluster id”] [key=/tidb/cdc/capture/166ed910-2f90-4db7-b6fd-3e1e151d936a]

[2022/08/25 17:54:44.103 +08:00] [WARN] [etcd.go:243] [“found etcd key with reserved cluster id”] [key=/tidb/cdc/capture/d18ab8bb-e41c-468d-97f2-905eccdb9153]

[2022/08/25 17:54:44.103 +08:00] [WARN] [etcd.go:243] [“found etcd key with reserved cluster id”] [key=/tidb/cdc/owner/a92827bfa4d8cfb]

[2022/08/25 17:54:44.103 +08:00] [WARN] [etcd.go:243] [“found etcd key with reserved cluster id”] [key=/tidb/cdc/owner/a92827bfa4d8cff]

Error: election: no leader
之前没用过kafka,这里需要对kafka做什么配置吗,当前只在kafka上创建了一个tidb的topic


kafka上是可以发送和接收消息的

你用过的是 cdc 6.2.0 吧?把 --pd=http://127.0.0.1:2379 换成 --server=cdc address 试试看呢?

tiup cdc cli changefeed create --server=cdc http://172.21.0.14:2379 --changefeed-id=“kafka-canal-json” --sink-uri=“kafka://172.21.0.9:9092/test111”
还是不行是我哪里写的不对吧
unknown command “http://172.21.0.14:2379” for “cdc cli changefeed create”

tiup cdc cli changefeed create --server=http://172.21.0.9:2379 --changefeed-id=“kafka-canal-json” --sink-uri=“kafka://172.21.0.9:9092/test111”
172.21.0.9是我的ticdc和kafka服务器的ip,–server应该使用哪个服务的ip和端口,文档里没看到说明

找到原因了,应该是我的tidb版本和ticdc工具版本不一致

我这边升级了tidb到最新版本还是不行
./cdc cli changefeed create --sink-uri=‘kafka://172.21.0.9:9092/test?kafka-version=2.6.0&partition-num=1&max-message-bytes=67108864&replication-factor=1&protocol=canal-json’ --changefeed-id=“replication-task-2” --server=http://172.21.0.9:8300
Error: [CDC:ErrKafkaNewSaramaProducer]new sarama producer: dial tcp: lookup VM-0-9-centos on 183.60.83.19:53: no such host
这是报的错误信息,183.60.83.19:53这个ip也很诡异,并不在我的集群中

问题的原因找到了是kafka版本传递错了

1 个赞

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。