使用下面的命令创建同步任务,指定了replication-factor为3:
/tidb-deploy/cdc-8300/bin/cdc cli changefeed create --pd=http://10.7.102.46:2379 --sink-uri=“kafka://10.7.102.11:9092,10.7.102.12:9092,10.7.102.13:9092/cdc-test02?kafka-version=2.4.0&partition-num=1&max-message-bytes=67108864&repilication-factor=3” --config /tidb-data/lyl_config/changefeed/test.test02.toml
ticdc命令回显,没有报错
在kafka的broker日志中不停的产生以下报错:
为保护kafka数据不丢失,kafka设置了ISR set为2的限制,当前同步任务创建的topic的ISR为1,所以产生了这个报错。
还进行过一个测试,如果在同步任务创建topic之前,手工在kafka上创建replication-factor为3的topic,再创建同步任务,则不会报错。
1 个赞
另外因为目前该同步任务导致kafka一直报错,使用下面的命令暂停、删除任务,均无法成功。
查
暂停
/tidb-deploy/cdc-8300/bin/cdc cli changefeed pause --pd=
http://10.7.102.46:2379 --changefeed-id 1955954f-221a-4541-9a68-831e7b819350
删除
/tidb-deploy/cdc-8300/bin/cdc cli changefeed remove --pd=
http://10.7.102.46:2379 --changefeed-id 1955954f-221a-4541-9a68-831e7b819350
刚刚使用同样的命令删除成功了,请问删除不掉有无快速解决的办法?
来了老弟
5
文本格式的这个报错辛苦提供下,
cdc log 中是否有报错?
另外, 请提供下 ticdc tidb ./cdc 版本 请提供下.
请检查 kafka-version 的版本是否有正确指定.
https://docs.pingcap.com/zh/tidb/stable/manage-ticdc#sink-uri-配置-kafka
来了老弟
6