【 TiDB 使用环境】生产环境
【 TiDB 版本】V6.5.2
【需求】想单独拿一个存储环境或服务器做数据备份机用,两种数据都想备份,一份是TiKV底层的物理备份SST,一份是逻辑备份的SQL或CSV,看了许多帖子,总的思路如下:
1.物理备份:
方式:快照备份br backup full,全量备份
日志备份br log ,增量备份
2.逻辑备份:
方式:Dumpling或SQL导出工具
问题1:如何监控全量备份和增量备份?
问题2:一致性验证该如何进行?
问题3:自动化脚本是直接写进系统层面的crontab还是工具层面的好些?
问题4:备份过程如果断点卡住,而第二天的自动备份任务又已经开始了,该如何处理(这里应该是全量备份会出的问题多谢吧)?
还望各位大神不吝赐教
zhanggame1
(Ti D Ber G I13ecx U)
4
我说下我们生产方案:
1、每天一次br全库备份,然后tar成一个压缩包,自动删除7天前的压缩包
2、日志备份br log ,自动删除7天前的
3、逻辑备份用dumpling全库每日备份一次,并做成tar.gz压缩包,自动删除7天前的压缩包
crontab执行 我们数据量小,100G左右,仅供参考
10t的数据量已经不适合做逻辑备份了,消耗资源多,效率还低。
建议是br做个定时的全量备份,没有必要每天做全量备份,然用pitr做增量备份
https://docs.pingcap.com/zh/tidb/v7.5/br-pitr-guide#开启日志备份
Kongdom
(Kongdom)
6
10T,得备份好久吧,我们这边机械盘全量备份都是10个小时。还是全量加增量的比较好。
肯定是全量加增量,但想着每周或每月做个全量,然后删除上一次的全量,我这边是存储+华为FC虚机
逻辑备份之所以要备份,害怕的是底层数据SST无法恢复到其他库中,导出SQL的化就可以随便恢复了
zhanggame1
(Ti D Ber G I13ecx U)
9
dumpling可以写sql备份的,你筛选新增部分备份就行
一致性校验默认是开启的,在br备份完成后,会自动进行checksum;
小龙虾爱大龙虾
(Minghao Ren)
11
自己把监控逻辑嵌入到脚本里呗
br 备份是自动验证完整性的,dumpling 直接认为数据就是完整的
都可以,那就是个拉起的方式,搞一个监控,监控下近 3 天是否有成功备份就好了
脚本里实现这个判断逻辑吧,正在备份就不要备啦