【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】
使用br 7.1.1 全量备份 tidb 7.1.1 至远端s3对象存储
【遇到的问题:问题现象及影响】
全量备份卡住
【资源配置】
【附件:截图/日志/监控】
没看到报错内容啊
timeout 网络不通?
是备份了一段时间的报错还是一开始就报错了?
一开始就报错了
这个报错看起来像是网络相关问题,排查一下集群节点和BR工具之间的网络抖动情况,是否有网络不通的问题
如果确认正常,再重试
获取S3备份路径错误,是否网络不稳定?
S3备份路径 网络,带宽 是不是有限制,可以 fio 压测下,或传个大包,或 ping 个 大包 看下
还有 确认好 br 备份 参数 给的路径 对不对
看看s3相关配置怎么配的?比如endpoint之类的,配置错了也会这样
br工具所在节点与对象存储s3服务器的网络是通的,没有带宽限制,上传数据也没啥问题。br工具与kv节点也是可以ping通的。
命令行 curl或别的客户端上传到s3文件。先排除服务器到s3 的问题。
看起来是到S3的网络访问有问题 内外部网络Endpoint是不一样的需要注意 检查一下IAM授权以及ACL权限
S3的权限没配置对吧
s3上是有一部分内容还是一点备份都没有
s3有问题呀
快照备份有一部分能传到s3,有checkpoints文件夹和backup.lock。存储节点的文件夹不能创建。
另外,开启日志备份的话,仅有backup.lock和backupdata可以传到s3,v1文件夹不能创建。
我给你提供一个思路。
是不是执行br备份的时候没有限速?
不限速的话,br对带宽的使用是比较野蛮的,分布式的上传也容易把带宽占满,导致网络超时。
br后面加--ratelimit 100
参数,数字的部分就是限制的带宽大小,100就是100Mib。
--ratelimit uint The rate limit of the task, MB/s per node
限速后再试试。