TIDB 如何实现用br工具进行数据备份到公有云bos上

【 TiDB 使用环境】生产环境
【 TiDB 版本】V6.5.8
【遇到的问题:问题现象及影响】 TIDB 如何实现用br工具进行数据备份到公有云bos上,是否有比较详细的命令,从官方提供的文档里都是到S3的场景

br目前不支持直接备份数据到oss。你可以备份到本地后在传到oss.

官方文档说支持Amazon S3、Google Cloud Storage (GCS)、Azure Blob Storage 存储系统

因为一台服务器部署了多套TIKV实例,我看备份期间每个实例下会有个备份集,目前想到的方案是通过NFS等挂载个大盘机器,把备份集备份到大盘机器上,然后再上传到BOS,这种方案相当于做了一次中转,比较消耗带宽&&耗时也会DOUBLE

没有咱们国内云厂商的BOS,嘿嘿

我现在就是这么做的,备份好上传oss很快的耗时不会翻倍,需要多一台大磁盘的nfs服务器是真的

数据量比较大,例如:几百TB的存储容量,用NFS的话不知道有没有问题

备份到对象存储

是想备份到对象存储上,例如云厂商的BOS产品,但是目前看还不支持

几百T的NAS对于网络是个不小的挑战吧,看看是不是可以备份+增量备份实现吧,

嗯嗯,基准备份肯定是有的,备份周期可以调长,例如一周一个基准备份,每天一个增量备份,但不管如何,这个量级的数据传输比较有挑战,所以在想如果br可以直接把数据穿到BOS存储上这个问题就相对好些,最少减少一次中转

我用的腾讯云,可以直接br备份上cos去。其他云不清楚。

BOS会便宜些吗?官方没说明贸然用会有风险吧。

目前应该不支持直接备份

备份本地再中转一下

1 个赞

貌似不支持的。

1 个赞

目前还没考虑到价格问题,在探索方案,哈哈

如果用腾讯云的BOS,那也需要配置endpoint, ak, sk这些信息,br备份的时候这个命令怎么写的呢,辛苦来个demo呗

tiup br backup full -u “<pd_addr>:2379” --storage “s3://<桶的名字>” --s3.endpoint=“https://cos.ap-beijing.myqcloud.com” --send-credentials-to-tikv=true --ratelimit 100 --log-file backuptable.log

–s3.endpoint 这个填离你的机器最新的地址
–ratelimit 要有合理的限速,不然备份很容易占满带宽导致备份一直报错。

–storage “s3://<桶的名字>?access-key=xxxxxx&secret-access-key=xxxxx&endpoint=https://cos.ap-beijing.myqcloud.com/

storage也可以这样写,把access-key和secret-access-key写在里面。但极度不推荐,因为不安全,还是放配置文件更好。

dumpling支持备份到对象存储s3上
https://docs.pingcap.com/zh/tidb/v6.5/dumpling-overview#使用-dumpling-导出数据