有个数据增量同步需求

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】7.1
【遇到的问题:问题现象及影响】
目前有个这么个需求,有两个表需要实时同步到某接口,要求只同步新增部分数据。

开发方案是给表加个唯一自增ID列,通过程序判单取ID值增量同步。

我考虑是使用ticdc到kafaka,然后再同步到接口,是否可行

可行,写个消费程序去读kafka的数据,里面有ddl和dml的类型,按需使用也比较灵活

1 个赞

不需要同步DDL,只要新增数据就行

可行。

在消费端过滤掉ddl就行,可以参考下event的消息格式:
https://docs.pingcap.com/zh/tidb/stable/ticdc-canal-json

1 个赞

ticdc+kafka处理这个很合适

1 个赞

ticdc不错的选择

1 个赞

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。