【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
【资源配置】
【附件：截图/日志/监控】
问题一： 文档中没有提及如何备份全量rawkv数据，是不加--start 和 --end这两个参数吗
问题二：如题，目前测试结果为本地和s3的两种介质备份都成功，但是恢复过程都有不同的问题，远程s3不报错但显示恢复数据为0；本地恢复会报错。
1、测试过程-远程s3(ceph)
[root@nma07-304-d19-sev-r740-2u21 tls]# /opt/TDP/tidb-community-server-v6.3.0-linux-amd64/br backup raw --pd “127.0.0.1:2379” --ca ca.crt --cert client.crt --key client.pem --ratelimit 128 --cf default --storage “s3://juicefsmetabk/test1205?endpoint=http://10.37.70.2:8081&access-key=J5PSR9YQL0TJ4BBXFTWD&secret-access-key=xQlY47EWvA2URPwcBt7ZB9d72iKK7jss8Bb5PS
S5” --send-credentials-to-tikv=trueDetail BR log in /tmp/br.log.2022-12-05T09.10.54+0800
Raw Backup <----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00%
[2022/12/05 09:10:54.908 +08:00] [INFO] [collector.go:69] [“Raw Backup success summary”] [total-ranges=6] [ranges-succeed=6] [ranges-failed=0] [backup-total-regions=6] [total-take=392.84766ms] [total-kv=20437] [total-kv-size=16.72MB] [average-speed=42.55MB/s] [backup-data-size(after-compressed)=761.2kB]
2、查看2000条数据并存储方便与恢复数据做比对
cd /root/.tiup/storage/cluster/clusters/csfl-cluster/tls/
tiup ctl:v6.3.0 tikv --ca-path ca.crt --cert-path client.crt --key-path client.pem --host 10.37.70.31:20160 --data-dir /software/tidb-data/tikv-20160 scan --from ‘z’ --limit 2000 --show-cf lock,default,write
3、清除集群所有数据并重启集群
tiup cluster clean prod-cluster --data
tiup cluster start prod-cluster
4、导入备份的数据
/opt/TDP/tidb-community-server-v6.3.0-linux-amd64/br restore raw --pd “127.0.0.1:2379” --ca ca.crt --cert client.crt --key client.pem --ratelimit 128 --cf default --storage “s3://juicefsmetabk/test1205?endpoint=http://10.37.70.2:8081&access-key=J5PSR9YQL0TJ4BBXFTWD&secret-access-key=xQlY47EWvA2URPwcBt7ZB9d72iKK7jss8Bb5PSS5” --send-credentials-to-tikv=true
Raw Restore <---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00%
[2022/12/05 14:02:28.700 +08:00] [INFO] [collector.go:69] [“Raw Restore success summary”] [total-ranges=0] [ranges-succeed=0] [ranges-failed=0] [restore-files=6] [total-take=482.410289ms] [Result=“Nothing to restore”] [total-kv=20437] [total-kv-size=16.72MB] [average-speed=34.65MB/s]
显示恢复了0条数据
5、查看2000条数据并与先前比对
tiup ctl:v6.3.0 tikv --ca-path ca.crt --cert-path client.crt --key-path client.pem --host 10.37.70.31:20160 --data-dir /software/tidb-data/tikv-20160 scan --from ‘z’ --limit 2000 --show-cf lock,default,write >2001
发现jfs开头的数据确实没有恢复
2、测试过程-本地磁盘
1、进行本地备份 测试两种是否携带 start参数做对比，因官方未给出全量备份方式，尝试删除start end参数
jfs转码后6A6673作为start的值 不确定是不是我们真正要的范围数据 但是确实有数据
/opt/TDP/tidb-community-server-v6.3.0-linux-amd64/br backup raw --pd “127.0.0.1:2379” --ca ca.crt --cert client.crt --key client.pem --start 6A6673 --ratelimit 128 --cf default --storage “local:///home/tidb/backuprawzjfs6A6673”
[2022/12/06 10:01:08.036 +08:00] [INFO] [collector.go:69] [“Raw Backup success summary”] [total-ranges=2] [ranges-succeed=2] [ranges-failed=0] [backup-total-regions=2] [total-take=84.392519ms] [backup-data-size(after-compressed)=829.5kB] [total-kv=20853] [total-kv-size=19.03MB] [average-speed=225.5MB/s]
不带start和end参数 成功 和上面的数据量显示一样
/opt/TDP/tidb-community-server-v6.3.0-linux-amd64/br backup raw --pd “127.0.0.1:2379” --ca ca.crt --cert client.crt --key client.pem --ratelimit 128 --cf default --storage “local:///home/tidb/backupraw”
[2022/12/06 09:58:11.842 +08:00] [INFO] [collector.go:69] [“Raw Backup success summary”] [total-ranges=2] [ranges-succeed=2] [ranges-failed=0] [backup-total-regions=2] [total-take=84.355335ms] [total-kv=20853] [total-kv-size=19.03MB] [average-speed=225.6MB/s] [backup-data-size(after-compressed)=829.5kB]
2、清除集群所有数据并重启集群
tiup cluster clean prod-cluster --data
tiup cluster start prod-cluster
3、导入备份的数据
[tidb@nma07-304-d19-sev-r740-2u21 tls]$ /opt/TDP/tidb-community-server-v6.3.0-linux-amd64/br restore raw --pd “127.0.0.1:2379” --ca ca.crt --cert client.crt --key client.pem --start 6A6673 --ratelimit 128 --cf default --storage “local:///home/tidb/backuprawzjfs6A6673”
[tidb@nma07-304-d19-sev-r740-2u21 tls]$ /opt/TDP/tidb-community-server-v6.3.0-linux-amd64/br restore raw --pd “127.0.0.1:2379” --ca ca.crt --cert client.crt --key client.pem --ratelimit 128 --cf default --storage “local:///home/tidb/backupraw”
