如何增量备份某张表的某个时段的数据至tidb,并清理备份好的数据?

【 TiDB 使用环境】生产环境
【 TiDB 版本】7.5.0
【复现路径】/
【遇到的问题:我们有个需求,需要做定时做备份,用来存档。比如每日凌晨备份某张表的最后1个月数据,同时也需要将备份好的数据的进行清理】
【资源配置】/
【附件:截图/日志/监控】

我在文档中没有找到如此细粒度的备份工具

感觉dumpling比较符合: 使用 Dumpling 导出数据 | PingCAP 文档中心
可以使用dumpling里面的where参数,来过滤你需要导出的数据,导出成csv和sql都行。删除的话,需要手动删除,或者写个简单的脚本

3 个赞

使用dumpling加是日期条件,然后脚本中使用find 加上mtime判断时间进行删除

1 个赞

dumpling可以加where条件的,也可以备份mvcc指定的时间点数据

1 个赞

dumpling是正解吧

1 个赞

这个难道不是分区表最好用,直接按月分区,到时候将对应分区直接通过任意手段备份到tidb(dumpling/dm/datax/cloudcanel之类的数据),然后将数据源中对应分区的数据直接清除。

1 个赞

分区表的确是最好的解决方案,dumpling是我没有仔细阅读文档,十分感谢社区的各位大佬回答

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。