TiCDC同步到kafka时replication-factor参数无法设置为3

使用下面的命令创建同步任务,指定了replication-factor为3:
/tidb-deploy/cdc-8300/bin/cdc cli changefeed create --pd=http://10.7.102.46:2379 --sink-uri=“kafka://10.7.102.11:9092,10.7.102.12:9092,10.7.102.13:9092/cdc-test02?kafka-version=2.4.0&partition-num=1&max-message-bytes=67108864&repilication-factor=3” --config /tidb-data/lyl_config/changefeed/test.test02.toml

ticdc命令回显,没有报错

在kafka的broker日志中不停的产生以下报错:


为保护kafka数据不丢失,kafka设置了ISR set为2的限制,当前同步任务创建的topic的ISR为1,所以产生了这个报错。

还进行过一个测试,如果在同步任务创建topic之前,手工在kafka上创建replication-factor为3的topic,再创建同步任务,则不会报错。

1 个赞

另外因为目前该同步任务导致kafka一直报错,使用下面的命令暂停、删除任务,均无法成功。


暂停
/tidb-deploy/cdc-8300/bin/cdc cli changefeed pause --pd=http://10.7.102.46:2379 --changefeed-id 1955954f-221a-4541-9a68-831e7b819350
删除
/tidb-deploy/cdc-8300/bin/cdc cli changefeed remove --pd=http://10.7.102.46:2379 --changefeed-id 1955954f-221a-4541-9a68-831e7b819350

刚刚使用同样的命令删除成功了,请问删除不掉有无快速解决的办法?

添加 -f 参数试下

文本格式的这个报错辛苦提供下,

cdc log 中是否有报错?

另外, 请提供下 ticdc tidb ./cdc 版本 请提供下.

请检查 kafka-version 的版本是否有正确指定.

https://docs.pingcap.com/zh/tidb/stable/manage-ticdc#sink-uri-配置-kafka

@Hacker_ZiJCn8No hello, 问题解决了吗

@Hacker_ZiJCn8No hello, 问题解决了吗?