咨询 br备份到自建对象存储，自建对象存储无region。--s3.region 参数怎么设置？

张小凉1 · 2025 年1 月 16 日 03:14

【 TiDB 使用环境】测试
【 TiDB 版本】v8.5.0

参考文档写的命令

有猫万事足 · 2025 年1 月 16 日 04:50

没有就不填。
有些云上的s3，region直接就是写在url里面的，也等于没有region，就不填这个参数就好了。

我猜你试过不填的情况，应该是不填也没成功。
不妨直接把s3配置发出来看看，这块每个云的方式还真就是都有些细微的差距，需要多试几次的，注意有些信息是保密的。要遮掩一下。

张小凉1 · 2025 年1 月 16 日 05:47

#!/bin/bash
AccessKey=xxxx
SecretKey=xxxx
Bucket=test
Endpoint=x.x.x
PDIP=x.x.x.x:2379

export AWS_ACCESS_KEY_ID=$AccessKey
export AWS_SECRET_ACCESS_KEY=$SecretKey

CURDATE=$(date +%Y%m%d%H%M%S)
source /root/.bash_profile

/root/.tiup/components/br/v8.5.0/br backup full --pd “${PDIP}” --storage “s3://${Bucket}/test/snapshot-${CURDATE}” --s3.endpoint=“http://${Endpoint}” --log-file /00_data/brbackupfull.log

大概是这样的

zhanggame1 · 2025 年1 月 16 日 06:08

使用minio自建的吗

张小凉1 · 2025 年1 月 16 日 06:10

不是。用的一个研究所自研的

有猫万事足 · 2025 年1 月 16 日 06:56

这个命令运行的时候报什么错呢？

TiDBer_xTvoCh2f · 2025 年1 月 16 日 07:00

先echo一下吧，确保变量准确，再进行下一步调试

张小凉1 · 2025 年1 月 16 日 07:26

[2025/01/16 15:25:38.917 +08:00] [INFO] [collector.go:77] [“Full Backup failed summary”] [total-ranges=0] [ranges-succeed=0] [ranges-failed=0]
Error: failed to get region of bucket bucket-name: BucketRegionError: incorrect region, the bucket is not in ‘us-east-1’ region at endpoint ‘http://xxxxx’
status code: 301, request id: , host id:

有猫万事足 · 2025 年1 月 16 日 09:43

github.com

pingcap/tidb/blob/1f57e583f25d2afe5e80cbf0db8050cccd88f8ae/br/pkg/storage/s3.go#L64


      
          	notFound             = "NotFound"
          	// number of retries to make of operations.
          	maxRetries = 7
          	// max number of retries when meets error
          	maxErrorRetries = 3
          	ec2MetaAddress  = "169.254.169.254"
          
          	// the maximum number of byte to read for seek.
          	maxSkipOffsetByRead = 1 << 16 // 64KB
          
          	defaultRegion = "us-east-1"
          	// to check the cloud type by endpoint tag.
          	domainAliyun = "aliyuncs.com"
          )
          
          var permissionCheckFn = map[Permission]func(context.Context, s3iface.S3API, *backuppb.S3) error{
          	AccessBuckets:      s3BucketExistenceCheck,
          	ListObjects:        listObjectsCheck,
          	GetObject:          getObjectCheck,
          	PutAndDeleteObject: PutAndDeleteObjectCheck,
          }

defaultRegion就是us-east-1。

github.com

pingcap/tidb/blob/1f57e583f25d2afe5e80cbf0db8050cccd88f8ae/br/pkg/storage/s3.go#L340


      
          	return newCred, nil
          }
          
          // NewS3Storage initialize a new s3 storage for metadata.
          func NewS3Storage(ctx context.Context, backend *backuppb.S3, opts *ExternalStorageOptions) (obj *S3Storage, errRet error) {
          	qs := *backend
          	awsConfig := aws.NewConfig().
          		WithS3ForcePathStyle(qs.ForcePathStyle).
          		WithCredentialsChainVerboseErrors(true)
          	if qs.Region == "" {
          		awsConfig.WithRegion(defaultRegion)
          	} else {
          		awsConfig.WithRegion(qs.Region)
          	}
          
          	if opts.S3Retryer != nil {
          		request.WithRetryer(awsConfig, opts.S3Retryer)
          	} else {
          		request.WithRetryer(awsConfig, defaultS3Retryer())
          	}

当Region没写的时候，就把us-east-1设置为region。

所以这里的报错才是这样。

那这样的话，region还必须要有个值。
这个还得让你们的s3提供方，想想办法。

kang · 2025 年1 月 16 日 15:29

是minio吗，有文档吗发一下
我找了个视频老多了也不知道要学哪里

as波哥 · 2025 年1 月 17 日 06:30

先echo一下吧，确保变量准确，再进行下一步调试

TiDBer_C33 · 2025 年1 月 17 日 07:53

跟你一样的问题，也是自建的存储服务，去除–s3.region即可