关于br备份存储目录有以下几个疑问:
tiup br backup full --pd “${PD_IP}:2379”
–backupts ‘2022-09-08 13:30:00 +08:00’
–storage “s3://backup-101/snapshot-202209081330?access-key=${access-key}&secret-access-key=${secret-access-key}”
–ratelimit 128 \
1.这里的s3或共享磁盘，只需要挂载在所有tikv节点，还是说还需要挂在执行tiup br备份命令所在的节点就行？还是说tiup br备份命令所在的节点 和 所有tikv节点 都需要挂载这个共享磁盘
2.经过测试多次，如果不使用共享磁盘，tikv和tiup br命令所在节点都创建/backup目录，是无法备份的。
请问这个备份盘是要配置在哪些节点上？？
需要挂载在所有tikv节点(这是错的，正确的看下面)
只挂在tikv节点是不行的，因为br备份会在执行tiup br命令的节点上生成备份文件，也需要这个挂载磁盘。
如果没有挂载 NFS 到 br 工具或 TiKV 节点，或者使用了支持 S3、GCS 或 Azure Blob Storage 协议的远端存储，那么 br 工具备份的数据会在各个 TiKV 节点生成。注意这不是推荐的 br 工具使用方式，因为备份数据会分散在各个节点的本地文件系统中，聚集这些备份数据可能会造成数据冗余和运维上的麻烦，而且在不聚集这些数据便直接恢复的时候会遇到 SST file not found 报错。
我不使用共享，测试以下场景:
在br工具节点和tikv节点创建mkdir /backup目录， 然后执行备份是无法备份的，会报以下错误:
Error: error happen in store 1: File or directory not found on TiKV Node (store id: 1). workaround: please ensure br and tikv nodes share a same storage and the user of br and tikv has same uid.: [BR:KV:ErrKVStorage]tikv storage occur I/O error
如果没有挂载 NFS 到 br 工具或 TiKV 节点，或者使用了支持 S3、GCS 或 Azure Blob Storage 协议的远端存储，那么 br 工具备份的数据会在各个 TiKV 节点生成
也就是说br工具很可能只认共享磁盘或者s3，GCS 或 Azure Blob Storage 协议的远端存储，本地目录不行，如果br节点和所有的tikv节点在同一台服务器上安装的，可能可以mkdir /backup直接备份。
命令怎么写的？
[tidb@monitor ~]$ tiup br backup full --pd “192.168.1.183:2379” --storage “local:///tidb-backup/full-tidb-snapshot-date +%F” --log-file “local:///tidb-backup/full-tidb-backupsnapshot-date +%F.log” --ratelimit 128
Starting component br: /home/tidb/.tiup/components/br/v8.4.0/br backup full --pd 192.168.1.183:2379 --storage local:///tidb-backup/full-tidb-snapshot-2024-11-15 --log-file local:///tidb-backup/full-tidb-backupsnapshot-2024-11-15.log --ratelimit 128
Detail BR log in local:///tidb-backup/full-tidb-backupsnapshot-2024-11-15.log
[2024/11/15 19:15:52.024 +08:00] [WARN] [backup.go:311] [“setting --ratelimit and --concurrency at the same time, ignoring --concurrency: --ratelimit forces sequential (i.e. concurrency = 1) backup”] [ratelimit=134.2MB/s] [concurrency-specified=4]
Full Backup <…> 0.00%[2024/11/15 19:15:55.446 +08:00] [INFO] [collector.go:77] [“Full Backup failed summary”] [total-ranges=0] [ranges-succeed=0] [ranges-failed=0] [backup-total-ranges=119] [backup-total-regions=119]
Error: error happen in store 1: File or directory not found on TiKV Node (store id: 1). workaround: please ensure br and tikv nodes share a same storage and the user of br and tikv has same uid.: [BR:KV:ErrKVStorage]tikv storage occur I/O error
[tidb@monitor ~]$ ll -ld /tidb-backup/ -ld
drwxr-xr-x 3 tidb admin 4096 Nov 15 18:57 /tidb-backup/
[root@tikv01 ~]# ll -ld /tidb-backup/ -ld
drwxr-xr-x 2 tidb admin 4096 Nov 15 18:30 /tidb-backup/
[root@tikv02 ~]# ll -ld /tidb-backup/ -ld
drwxr-xr-x 2 tidb admin 4096 Nov 15 18:30 /tidb-backup/
[root@tikv03 ~]# ll -ld /tidb-backup/ -ld
drwxr-xr-x 2 tidb admin 4096 Nov 15 18:30 /tidb-backup/
去掉–storage 是不是得去掉这个？
这个节点上有这个指定目录么？
–storage是不可以去掉的，br命令必须带的。
目录不一样吧，后面还加了日期。这种的应该不会自动生成，需要提前创建。
跟这个没有关系，把tidb-backup mount到NFS，是可以正常备份的，我只是把它卸载，测试不使用共享磁盘能不能备份，结果是不能，因为报错也提示需要共享磁盘:
Error: error happen in store 1: File or directory not found on TiKV Node (store id: 1). workaround: please ensure br and tikv nodes share a same storage
我看了一下我们的备份任务，是在br之前创建了带日期的文件夹，然后指定这个文件夹。不过我们公司的确实是共享挂载的。不过也可以试试两边文件名一致，感觉还是前半段说的，没有找到文件夹。
没有 nfs 的话，目录要在各 tikv 节点提前创建
目录都创建好了，没有用，也就是说tidb只认一个共享存储挂在tikv和br节点上。
[tidb@monitor ~]$ ll -ld /tidb-backup/ -ld
drwxr-xr-x 3 tidb admin 4096 Nov 15 18:57 /tidb-backup/
[root@tikv01 ~]# ll -ld /tidb-backup/ -ld
drwxr-xr-x 2 tidb admin 4096 Nov 15 18:30 /tidb-backup/
[root@tikv02 ~]# ll -ld /tidb-backup/ -ld
drwxr-xr-x 2 tidb admin 4096 Nov 15 18:30 /tidb-backup/
[root@tikv03 ~]# ll -ld /tidb-backup/ -ld
drwxr-xr-x 2 tidb admin 4096 Nov 15 18:30 /tidb-backup/
创建到这一级，因为 br 只会在 br 命令执行的那个机器执行创建，如果是非共享的其他节点无法看到
s3和共享磁盘不是一回事。
当br使用s3的时候，不需要在tikv上创建什么东西。
但共享磁盘需要，在所有tikv上都有一个统一的共享磁盘挂载目录路径。
这个报错说在storeid =1的tikv上没有找到这个目录。
要使用pd-ctl看一下，storeid=1的这个tikv是那个，上去看一下。
tiup ctl:v{你的版本} pd store
返回的json里面有id=1的。看看地址和端口，ssh进去找一下是否存在你写的这个目录。
确实如此，备份完后，tikv节点2和br节点生成了备份文件，其它两个tikv节点没有生成备份文件
[tidb@monitor tidb-backup]$ ll
total 300
-rw-r–r-- 1 tidb admin 78 Nov 15 20:32 backup.lock
-rw-r–r-- 1 tidb admin 369 Nov 15 20:32 backupmeta
-rw-r–r-- 1 tidb admin 3705 Nov 15 20:32 backupmeta.datafile.000000001
-rw-r–r-- 1 tidb admin 290484 Nov 15 20:32 backupmeta.schema.000000002
drwxrwxrwx 3 tidb admin 4096 Nov 15 20:32 checkpoints
[root@tikv02 tidb-backup]# cd 2/
[root@tikv02 2]# ll
total 132
-rw-r–r-- 1 tidb admin 2754 Nov 15 20:32 52_66_14cb04ee782e395141d963ea68917b6aab4b9bf3b2763dd6dea04863235515e4_1731673961152_write.sst
-rw-r–r-- 1 tidb admin 1660 Nov 15 20:32 52_66_19ae77d16d5909ba505253cb967f7e2e9c90dbcd373e7defac62bccc1e3bc46f_1731673961174_write.sst
-rw-r–r-- 1 tidb admin 1865 Nov 15 20:32 52_66_1e2b8993da060c7ab01cb04951801ee686ac186e1dcd2afbfbe00f5c31555538_1731673961161_write.sst
-rw-r–r-- 1 tidb admin 1899 Nov 15 20:32 52_66_2333a3f7aca0d3bdfb4a269c2e22bdead299215b8451c536b0b52bf08d91305c_1731673961173_write.sst
-rw-r–r-- 1 tidb admin 2444 Nov 15 20:32 52_66_4e2aaaddaaf51e8c2ecb7c86dc2d065e469ad77d50acd4ef52ea02ce258a7bcc_1731673961151_write.sst
-rw-r–r-- 1 tidb admin 1811 Nov 15 20:32 52_66_72a4e84f605ed90cbcbbcee4180621ff3ebfb534ff3db815260175d0bacdbd13_1731673961134_write.sst
-rw-r–r-- 1 tidb admin 1644 Nov 15 20:32 52_66_8413f3e535717226220efaf650a7be0219230df659ab29429c0fbf4292cf25b3_1731673961161_write.sst
-rw-r–r-- 1 tidb admin 1738 Nov 15 20:32 52_66_9c743327159d226c46b30bb27c46a124478ddfe9847f2958b044ccf11a48e465_1731673961173_write.sst
-rw-r–r-- 1 tidb admin 1651 Nov 15 20:32 52_66_9f6b09ce1a3edac79953015843adc153658928854036fb930560d0c1e6ebb73e_1731673961126_write.sst
-rw-r–r-- 1 tidb admin 17140 Nov 15 20:32 52_66_b8724add2d6de5e10318a85c1a83b4891ef531cf160147b3c388292317a0ca27_1731673961150_write.sst
-rw-r–r-- 1 tidb admin 1612 Nov 15 20:32 52_66_c58a3db8397edcdf77a0c8fabe8fde775e2bce3c577f6d23d4d45b4de738ed1b_1731673961175_write.sst
-rw-r–r-- 1 tidb admin 22274 Nov 15 20:32 52_66_cb1446b533efca1ae48d6e440cb635d3f814f3fba98b3d494d7f3db1ef5e447a_1731673961147_write.sst
-rw-r–r-- 1 tidb admin 1657 Nov 15 20:32 52_66_e4f50bb768550944f40a3b1a9a93f29c997ef26d61fa7b4981d5f990d3596288_1731673961161_write.sst
-rw-r–r-- 1 tidb admin 34217 Nov 15 20:32 52_66_ed85b58a2c9d34fd5a6d89e79e2ab51ddb78227e5ad4656082bb663714b43d77_1731673961178_default.sst
-rw-r–r-- 1 tidb admin 2385 Nov 15 20:32 52_66_ed85b58a2c9d34fd5a6d89e79e2ab51ddb78227e5ad4656082bb663714b43d77_1731673961178_write.sst
-rw-r–r-- 1 tidb admin 1729 Nov 15 20:32 52_66_fe4f4fe208b803c33418828875893e8a4087d841eb2569b36c63fec084c8f2cc_1731673961173_write.sst
另外遇到一个问题，如果3个tikv节点，有一个tikv节点关机，备份无法进去，就一直卡住，直到另一个节点开启才能继续备份。
