TiCDC只能同步增量数据到kafka。。之前的全量数据该如何处理
通过dumpling之类的工具全量导出csv之类的格式给下游不就好了
下游是异构数据库(ES),在研发不参与,不开发工具的情况下。。有没有现成的工具。
表不多的话,可以试试datax
1 个赞
导出导入然后记录TS
dumpling导出成csv,在参考一下这个文章就可以了。
2 个赞
异构的用那些支持的数据同步工具,不少可以的
使用BR或者dumpling全量导出导入
datax 不错
用BR全量导入
同构的话可以考虑使用cloudcanal
感觉你想做异构迁移,替换tidb
kafka没法替代TiDB的,如果是到其他数据库,不需要kafka倒一手。
dumpling或者其他工具初始化数据呗
先全量导出到目标库,再通过CDC增量方式
CC或者datax
可以考虑datax,我做过企业级数据库历史数据的迁移,tidb你可以用datax的mysql插件,tidb是支持MySQL语句的
用br做全量备份,备份的时候会有一个备份的时间戳,然后建cdc同步任务的时候,start-ts指定为这个时间戳,从全备的那个时间开始继续数据同步
主要看数据量。如果数据量小,也可以更新某一个字段,比如更新时间,触发数据同步即可
BR等