cdc 创建changefeed 失败

Mwkk · 2024 年9 月 13 日 05:54

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件：截图/日志/监控】
版本为8.1.0
创建命令为
./cdc cli changefeed create --server=http://xx.xx.xx.xx:xxxx --sink-uri=“kafka://xxx:xx,xxx:xx,xxx:xx,xxx:xx,xxx:xx/sql-audit-binlog?protocol=canal&kafka-version=2.3.0&partition-num=5&max-message-bytes=67108864&replication-factor=3” --changefeed-id=“sql-audit” --config=/data/cdc-8300/conf/sql-audit.config
配置文件为
[filter]
rules = [‘sql_audit.*’]

日志报错见附件
error.log (14.9 KB)

小龙虾爱大龙虾 · 2024 年9 月 13 日 06:59

这个日志里没啥东西，你执行的时候有啥报错吗， changefeed list 有啥东西吗

Mwkk · 2024 年9 月 13 日 07:23

执行的时候提示
Error: [CDC:ErrKafkaNewProducer]new kafka producer: kafka: client has run out of available brokers to talk to: 5 errors occurred:
* EOF
* EOF
* EOF
* EOF
* EOF

list 返回

MrSylar · 2024 年9 月 13 日 07:43

试试 tidb.ai 的思路？

MrSylar · 2024 年9 月 13 日 07:49

突然发现 canal 协议不支持

kevinsna · 2024 年9 月 13 日 08:22

后面问题是否解决，是否是因为canal协议不支持导致的？解决了的话，分享下？

Mwkk · 2024 年9 月 14 日 01:23

kafka version 的问题，仔细看了下日志，提示下游 kafka 版本为v2.3.0，命令用2.4.0就会报错。 canal 协议看代码是支持的，文档没写也许后面会废弃。

WalterWj · 2024 年9 月 14 日 01:24

好像新版是会对版本做校验

Mwkk · 2024 年9 月 14 日 01:27

ok. 问题不大改下命令就行

MrSylar · 2024 年9 月 14 日 01:40

“命令用2.4.0”是什么意思？下游的kafka 版本实际是 2.4.0，而不是create changefeed 里面写的 2.3.0？

文档上 8.1 的 ticdc 支持 2.1 以后的 kafka

Mwkk · 2024 年9 月 14 日 07:56

下游 kafka 实际版本为 2.3.0，changefeed 之前都是用2.4.0 这个参数创建的，所以失败了。
把 changfeed 创建命令中 kafka 参数改为2.3.0 就可以创建成功了