cdc 的目录下的文件如何清理

[lxzkenney (MR.Li)]

tidb 5.0.3 cdc
cdc数据目录下的文件太多了，
这些日期都是很早的了，都是经过排序整理同步完成后保留下来的。如何清理呢。有啥生命周期参数可以调不。

[听风吹雨]

请问是否升级过版本或者TiCDC发生过异常？

[lxzkenney (MR.Li)]

是发生过异常，每个月高峰时有大量的update/insert操作，ticdc的任务就hang住，checkpoint点不动了（自己恢复不了最长等待过20多个小时），然我停止再resume 等个30多分钟就开始接着往前推进 checkpoint 了。

[听风吹雨]

1、请问下，TiCDC的下游是什么呢？
2、麻烦提供下TiCDC 的监控：https://metricstool.pingcap.com/#backup-with-dev-tools

[lxzkenney (MR.Li)]

1. 下游是kafka
   2.tidb-financial-app-TiCDC_2022-02-15T06_47_51.725Z.json (18.5 MB)

去年这些临时文件 是不是就可以直接删除了？

[zhenjiaogao]

另外，如果方便的话，请提供下下述信息：

1. 获取 changefeed 配置信息，参考命令如下：
   cdc cli changefeed query --pd=http://10.0.10.25:2379 --changefeed-id=simple-replication-task

2. 获取 CDC 配置信息，参考命令如下：
   tiup cluster edit-config <cluster-name>

[lxzkenney (MR.Li)]

1cdc.txt (1.4 KB) 2cdc配置信息.txt (675 字节) financial-xxx-xxx-01-new-task_1.log (133.6 KB)

我们是6个cdc任务，我拿了其中一个任务的详情信息。
配置信息：我只拿了cdc部分的。

[zhenjiaogao]

@lxzkenney

1cdc.txt (1.4 KB)

这个是 cdc 的 list 列表，辛苦拿下具体的 changefeed 任务的详细信息，使用下面的命令。目的是确认下每一个 changefeed 的 sort-engine 参数配置情况。另外，请再检查下 CDC 服务器中是否有 /tmp/cdc_data 目录，以及该目录的空间使用情况：

@zhenjiaogao

cdc cli changefeed query --pd=http://10.0.10.25:2379 --changefeed-id=simple-replication-task

[lxzkenney (MR.Li)]

financial-app-hz-01-task.log (132.9 KB)

financial-app-cf-01-task.log (132.3 KB)

cdc 临时文件存储位置是配置文件中指定的位置。 /tmp/cdc_data 没有这个目录。
我上一个附件中 第三个附件是其中一个changefeed详细信息。 其实其他几个任务跟这个任务配置信息一致。 我再上传两个任务的详情。

[听风吹雨]

@听风吹雨

请问是否升级过版本

麻烦确认下，这个集群是否从其它的版本升级到v5.0.3 的呢？

[lxzkenney (MR.Li)]

一开始就是这个版本

[听风吹雨]

麻烦确认一下 cdc binary 所在的目录下面有没有 data 目录

[lxzkenney (MR.Li)]

有data目录里面有tmp，有92G的文件，文件列表是上边那部分

[听风吹雨]

你好，经过确认，可以删除。
总结一下：
1、在 v5.0.3 之前 TiCDC 的临时排序文件夹参数是：sorter.sort-dir
2、 v5.0.3 之后 TiCDC 的临时排序文件夹参数是：data-dir，可参考：https://docs.pingcap.com/zh/tidb/stable/ticdc-overview#sort-dir-及-data-dir-配置项的兼容性说明
3、用户从其它版本升级到了v5.0.3，data-dir 设置为 data，是个相对路径，所以存储在了 cdc binary 目录下，里面tmp文件的大小为92G。如果没有设置默认是 /tmp/cdc_data

[lxzkenney (MR.Li)]

十分感谢大佬！