tidb能用otter工具来抽取同步到另外一个tidb吗?

我想同步一个云上tidb中的几个大表到本地tidb,能用otter同步工具来操作码?我看原理otter是模仿自己是slave从库去从mysql获取binlog,tidb我看也有binlog,不知道能不能使用。

应该不可以,binlog格式不一样,两个tidb直接同步可以用ticdc

我是想同步部分表。然后最好还要过滤掉delete。cdc最好版本是4.0.6.我的版本是4.0.2版本。太老了。怕有问题

老版本那用tidb binlog同步应该也可以

保持与tidb版本(MYSQL版本)的一致性,不妨一试,感觉应该可以

基于 binlog 的都不可以,逻辑的话可以。

2 个赞

逻辑同步的有什么工具方法吗?跨服务器同步传输数据的东西

多大的表?我一般都是搞逻辑备份。

逻辑备份怎么搞?用dumpling和 Lightning?上T的表。十几个,准备先用BR备份全库导入本地,
然后只同步大于200G的大表,同步这些表60天前的数据每天按日期查询插入到本地。云上的表删除历史数据。

现在想法是,1让开发去做,抽取数据插入本地,感觉开发不愿意
2.只能用这个dumpling导出指定表指定日期数据,然后传输到本地,在定时执行插入

:sweat_smile:上T?都赶上我这边整库大小了,还是搞BR物理备份吧。

迁移使用BR,,我现在是想着,BR迁移之后,定期备份某个表 60天前的当天的1天数据,然后同步,每天同步1天的数据。

BR全量+TiCDC增量这应该算是标准解决方案了。

都叫binlog,存储格式不一定一致,倒是可以试试

4.0版本CDC实时同步没法过滤delete,只有6.5版本以后好像才可以过滤,有这个相关文档,
我是要源端每天删除历史数据,目标端不能删,一直保留

tidb 到 tidb 本身就支持啊,4 版本用 tidb binlog,用 pump + drainer。

:thinking:这个确实没有注意到,没有这方面的实践操作。

1 个赞

我看了tidbbinlog文档,有参数可以指定同步某几个表,但是没看到有过滤delete操作

你这个是标准的t+n了,可以用datax啊,没必要用这种时时的了,还没有delete操作

恩对。我就是想搞一个,如果有实时+过滤delete更好,如果没有那就不要实时,每天定期同步,单最好是自动同步也可以