cdc 创建changefeed 失败

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
版本为8.1.0
创建命令为
./cdc cli changefeed create --server=http://xx.xx.xx.xx:xxxx --sink-uri=“kafka://xxx:xx,xxx:xx,xxx:xx,xxx:xx,xxx:xx/sql-audit-binlog?protocol=canal&kafka-version=2.3.0&partition-num=5&max-message-bytes=67108864&replication-factor=3” --changefeed-id=“sql-audit” --config=/data/cdc-8300/conf/sql-audit.config
配置文件为
[filter]
rules = [‘sql_audit.*’]

日志报错见附件
error.log (14.9 KB)

这个日志里没啥东西,你执行的时候有啥报错吗, changefeed list 有啥东西吗

执行的时候提示
Error: [CDC:ErrKafkaNewProducer]new kafka producer: kafka: client has run out of available brokers to talk to: 5 errors occurred:
* EOF
* EOF
* EOF
* EOF
* EOF

list 返回


试试 tidb.ai 的思路?

突然发现 canal 协议不支持

后面问题是否解决,是否是因为canal协议不支持导致的?解决了的话,分享下?

kafka version 的问题,仔细看了下日志,提示下游 kafka 版本为v2.3.0,命令用2.4.0就会报错。 canal 协议看代码是支持的,文档没写也许后面会废弃。

1 个赞

好像新版是会对版本做校验

ok. 问题不大 改下命令就行

“命令用2.4.0”是什么意思?下游的kafka 版本实际是 2.4.0,而不是create changefeed 里面写的 2.3.0?


文档上 8.1 的 ticdc 支持 2.1 以后的 kafka

下游 kafka 实际版本为 2.3.0,changefeed 之前都是用2.4.0 这个参数创建的,所以失败了。
把 changfeed 创建命令中 kafka 参数改为2.3.0 就可以创建成功了

1 个赞

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。