TiCDC只能同步增量数据到kafka。。之前的全量数据该如何处理

TiCDC只能同步增量数据到kafka。。之前的全量数据该如何处理

通过dumpling之类的工具全量导出csv之类的格式给下游不就好了

下游是异构数据库(ES),在研发不参与,不开发工具的情况下。。有没有现成的工具。

表不多的话,可以试试datax

1 个赞

导出导入然后记录TS

dumpling导出成csv,在参考一下这个文章就可以了。

2 个赞

异构的用那些支持的数据同步工具,不少可以的

使用BR或者dumpling全量导出导入

datax 不错

用BR全量导入

同构的话可以考虑使用cloudcanal

感觉你想做异构迁移,替换tidb :rofl:

kafka没法替代TiDB的,如果是到其他数据库,不需要kafka倒一手。

dumpling或者其他工具初始化数据呗

先全量导出到目标库,再通过CDC增量方式

CC或者datax

可以考虑datax,我做过企业级数据库历史数据的迁移,tidb你可以用datax的mysql插件,tidb是支持MySQL语句的

用br做全量备份,备份的时候会有一个备份的时间戳,然后建cdc同步任务的时候,start-ts指定为这个时间戳,从全备的那个时间开始继续数据同步

主要看数据量。如果数据量小,也可以更新某一个字段,比如更新时间,触发数据同步即可

BR等