ticdc 部分同步任务元数据无法完全删除

  • 【TiDB 版本】:v4.0.6
  • 【TiCDC 版本】:v4.0.8

已删除的 changefeed 查询显示如下:
[tidb@tidb-006 ~]$ cdc cli changefeed query -c “1-searchsync-casesearchsyncv3”

问题排查:
24小时后可以创建同名的 changefeed ,但是 resolved-ts 始终为空。无法正常同步数据

获取 owner info
curl http://172.16.72.18:8300/debug/info > debug1.log

后续测试 “admin-job-type”:3 这些 changefeed 都和上面一个现象。 可以创建同名的 changefeed ,但是 resolved-ts 始终为空。无法正常同步数据

PS:可以手动创建不同名称的 changefeed 来解决
但是因为我们公司用的平台创建的 changefeed 所以名称都是统一的。 必须要用之前的名称。

  1. 请问这个结果是在刚删除时查看的,还是 24 小时后查看的?
  2. 请问你们的任务是如何配置的? 使用 toml 文件吗? 可以上传文件吗?如果有重要信息可以脱敏,多谢。

24小时以后查询的,几天过去了。查询的结果还是这样的。

创建同步任务命令
cdc cli changefeed create --sink-uri= --changefeed-id= --config=/data/cdc_file/case_search_sync_v3.toml

toml文件
case-sensitive = true
enable-old-value = false

[filter]
rules = [‘search_sync_risk.case_search_sync_v3’]

[mounter]
worker-num = 16

[sink]
protocol = “default”

[cyclic-replication]
enable = false
sync-ddl = true

在删除时添加参数 -f 即可,例如:

cdc cli changefeed remove -c "test-3" -f

另外,建议将 cdc 升级到 v4.0.9 版本,v4.0.9 版本包含比较多的 bug fix,可以只升级 cdc,tidb tikv 等不用动。

已经升级到 v4.0.9 了,还是有这个问题。

cdc cli changefeed remove -c “test-3” -f 强制删除后,是否还有问题?

删除不掉,还是一直存在。

麻烦你执行 cdc cli unsafe show-metadata 将结果贴出来 (v4.0.9 才有这个命令)
注意结果中可能存在敏感信息,清注意脱敏

请问哪个changefeed是你想删除的?

1-searchsync-casesearchsyncv3

这个

麻烦尝试执行:

tiup cdc:v4.0.9 cli changefeed remove -c "1-searchsync-casesearchsyncv3" -f

然后执行

tiup cdc:v4.0.9 cli unsafe show-metadata

贴一下下面命令的输出。我尝试本地复现,没有复现出你的现象

cdc cli unsafe show-metadata 这个结果太多了,还是和上面的一样。

麻烦提供一下 cdc server 的日志吧

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。