Ti CDC是否支持全量+增量复制到kafka

CDC使用场景, 同步订单数据到kafka, 但是集群在凌晨宕机, 早上发现问题后, 希望CDC能够从当天的00:00这个时间开始重启增量同步, 请问是否可行?

得看你的tidb的0点的gc数据还存在与否,如果不存在,只能重新进行全量+增量复制到卡夫卡了。

请教, 全量复制到kafka如何操作呢?

不支持的,设置为 0 代表是从当前时间点开始复制。TiCDC 产品定位就是一个增量工具

cdc确实不支持全量,只支持变更,全量数据需要通过dumpling或者dm先导出到下游数据库

可自行通过select 获取到最新的 snapshot,将数据以 kafka 可接收的格式,推进去

在推送全量数据之前,可先启动 ticdc 的增量订阅

不过这样可能会带来数据重复的问题…比较难搞

请问Tidb CDC后续有支持全量的计划吗?

通过以下设置可以解决, 前提是设置: tidb_gc_life_time为24小时

  • --start-ts:指定 changefeed 的开始 TSO。TiCDC 集群将从这个 TSO 开始拉取数据。默认为当前时间。

TiCDC是增量同步工具,支持从某时间点拉取数据

--start-ts :指定 changefeed 的开始 TSO。TiCDC 集群将从这个 TSO 开始拉取数据,默认为当前时间。如楼上所说依赖于Tidb集群的GC life time

如果数据量不是很大的话,可以通过导出再导入方式让tidb生成全量

1 个赞

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。