cdc 任务停止一段时间,重启后还会继续运行嘛

想请问一下,如果cdc 任务停止几天,那么cdc 重启以后还能够继续运行吗?
cdc是读取raft log 的进行数据同步,raft log 是有保留机制的,那么如果cdc 任务停止几天的话?那么raft log有可能被删除了,那么是不是cdc 重启后就不能继续运行了?

回答有误,这应该是ticdc的gc行为,不是raft log

gc-ttl 了解下

好的,老师,还想请问下,如果ticdc 同步数据应该会落盘吧,但是我在/tidb-data/cdc-8300 目录里面没有看到罗盘的数据目录,cdc 存储的数据去哪里了?

在你配置的data_dir里

我的datadir 默认是/tidb-data/cdc-8300,但是我在/tidb-data/cdc-8300 这个里面只看到了一个tmp 目录

changefeed正常启动了吗?

启动了,状态是正常的,难道是说ticdc的数据并不罗盘,直接转成sql 通过网络发送到下游了?

我上游和下游的所有cdc 节点都没有看到cdc 落盘数据

排序默认优先内存 不够用时会落盘
数据消费了 就不存了

我也是这么认为的,可能不需要落盘
还想请教1个问题,假设tidb系统变量tidb_gc_life_time 是2h,ticdc的gc-ttl是24h,那么ticdc的gc-ttl 会阻塞tidb正常的gc行为吗(将tidb的g c变为24h)

任务停止后会保留24,具体可以看看我回你的那个关于gc-ttl的描述

我自己测试了下,我将cdc 的任务手动pause 后,cdc的gc-ttl是24h,我的gc_life_time是2h,但是我看监控和日志,tikv的gc一直在推进,这是怎么回事?

能发下您的测试过程吗?
包括配置、详细命令以及输出结果

您好,我后来的测试是发现如果ticdc 还有未同步完成的数据的情况下,停止cdc,是会阻塞tikv gc的,感谢您的回复,祝您新年快乐

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。