cdc创建任务失败(复用以前的任务id)

tidb 4.0.13版,在创建cdc任务的时候复用了之前用过的changefeed-id会报错,但是这个任务明明已经remove掉了,具体如下:

changefeed-id=cdc-122-kafka-maxwell-json是之前用的一个id名,后来remove了,现在再沿用这个 id名就会报下面的错误,换一个id就不报错。

另外还有一个问题,当前集群已经没有cdc任务了,但是告警还一直告延迟相关的。想咨询一下这种现象是啥原因,删除cdc任务的时候除了执行remove(没有指定–force)操作是否还需要清理其他地方。

请问你这cdc集群可以重启么,如果可以的话重启下,我之前是监控有残留,重启cdc解决的

cdc remove并不会立刻删除信息,你可以在删除的时候尝试使用 tiup cdc:xxx cli changefeed remove -c xxxx --pd=xxxxx --force

也是一样的

重启可以,但是治标不治本,不可能说我下一个任务就重启一遍cdc吧

–force 执行结果是什么

应该是在etcd中有残留,删除任务会有一个只供查询的状态,cli query(不加-s)应该能看到这个changefeed,稍等我测试下看能不能删除这个,我5.4.1版本直接删除掉了,我找找bug吧

bug:https://github.com/pingcap/tiflow/issues/1968,是有这个bug的

image

目前应该是没有解决的,暂时先用重启办法吧,要不然可能就得进入etcd直接修改了

tiup ctl:v5.4.1 etcd --endpoints=pd_ip:pd_port get / --prefix --keys-only |grep changefeed-name
具体的使用方法可以参考下面的链接

只读命令没问题,其他命令不建议使用,容易引起集群的问题,可以通过上面的命令看看有没有残留信息

好的,谢谢


根据报错怎么是 match pattern error?

如果有残留信息的话,目前是只能重启集群来释放吗?

目前是这样,没看到issue上有解决方案,暂时这样解决安全点,也可以直接更改etcd,不过有可能给集群带来其他问题,所以重启目前是相对安全的做法

这个问题是偶发的吗,我也担心我的复制以后要是删除,也会出现这个问题。

应该不是偶发,我遇到过几次,但是我5.4版本测试的时候没有遇到,可以跟踪下上面的issue,不过对使用来说应该影响不大

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。