br全量备份至s3报错

【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】
使用br 7.1.1 全量备份 tidb 7.1.1 至远端s3对象存储
【遇到的问题:问题现象及影响】
全量备份卡住
【资源配置】
【附件:截图/日志/监控】


没看到报错内容啊 :thinking:


这个是报错

timeout 网络不通?
是备份了一段时间的报错还是一开始就报错了?

一开始就报错了

这个报错看起来像是网络相关问题,排查一下集群节点和BR工具之间的网络抖动情况,是否有网络不通的问题

如果确认正常,再重试

1 个赞

获取S3备份路径错误,是否网络不稳定?

S3备份路径 网络,带宽 是不是有限制,可以 fio 压测下,或传个大包,或 ping 个 大包 看下
还有 确认好 br 备份 参数 给的路径 对不对

看看s3相关配置怎么配的?比如endpoint之类的,配置错了也会这样

br工具所在节点与对象存储s3服务器的网络是通的,没有带宽限制,上传数据也没啥问题。br工具与kv节点也是可以ping通的。

命令行 curl或别的客户端上传到s3文件。先排除服务器到s3 的问题。

看起来是到S3的网络访问有问题 内外部网络Endpoint是不一样的需要注意 检查一下IAM授权以及ACL权限

S3的权限没配置对吧

s3上是有一部分内容还是一点备份都没有

s3有问题呀

快照备份有一部分能传到s3,有checkpoints文件夹和backup.lock。存储节点的文件夹不能创建。

另外,开启日志备份的话,仅有backup.lock和backupdata可以传到s3,v1文件夹不能创建。

我给你提供一个思路。

是不是执行br备份的时候没有限速?
不限速的话,br对带宽的使用是比较野蛮的,分布式的上传也容易把带宽占满,导致网络超时。

br后面加--ratelimit 100参数,数字的部分就是限制的带宽大小,100就是100Mib。

--ratelimit uint The rate limit of the task, MB/s per node

限速后再试试。