BR导出正常，恢复时报错

🪐 TiDB 技术问题 备份&数据迁移
1

【 TiDB 使用环境`】生产
【 TiDB 版本】5.2
【遇到的问题】BR恢复时报错restorefull (1).log (1.1 MB)

【复现路径】做过哪些操作出现的问题
【问题现象及影响】
【附件】

  • 相关日志、配置文件、Grafana 监控（https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控（如有 BR、TiDB-binlog、TiCDC 等）
  • 对应模块日志（包含问题前后 1 小时日志）

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

2

恢复时目标库是空的吗

1 个赞
3

版本是 5.2.几

1 个赞
4

目标库空库

5

版本为5.2.2

6

源端TIDB 4.0.15
目标端TIDB 5.2.2
换了5.2.2的BR导出导入后报错如下
restorefull (2).log (1.0 MB)

7

期待后续分析中

8

[2022/04/14 01:02:17.941 +08:00] [ERROR] [import.go:351] [“download file failed”] [files=“{total=1,files="[337975_27648272_163529_56c848919a3e306816ca9dd9e11a7577141f5032040da25cbfeb5f20de21ef32_1649866953030_write.sst]",totalKVs=584,totalBytes=32120,totalSize=12954}”] [region=“{ID=1195690,startKey=74800000000000DCFFE25F698000000000FF0000010000000000FA,endKey=74800000000000DCFFE25F698000000000FF000001FB00000000FB,epoch="conf_ver:275 version:23281 ",peers="id:1195691 store_id:8 ,id:1195692 store_id:1 ,id:1195693 store_id:2 "}”] [startKey=74800000000000DCFFE25F698000000000FF0000010000000000FB] [endKey=74800000000000DCFFE25F698000000000FF000001FB00000000FB] [error="No such file or directory (os error 2): [BR:KV:ErrKVDownloadFailed]download sst failed; No such file or directory (os error 2): [BR:KV:ErrKVDownloadFailed]download sst failed; No such file or directory (os error 2):

日志中发现大量这个报错信息，检查下还原的目录和文件是否正确。

9

我看你采用的local file 的方式进行数据恢复的
这里需要你确认

  1. BR 应用可以正常访问到 、tmp/br_backup 目录和数据
  2. 所有、所有、所有 tikv 节点可以正确 访问到 tmp/br_backup 目录和数据
  3. 如果 tmp/br_backup 为 NFS 远程映射。搜索BR 备份日志中， “download file failed” 这个关键字，找到对应 SST 文件 ，确认远程目录中文件大小是否存在异常，也可登录到 tikv 服务器上远程连接检查文件是否正常。
  4. 最后建议排查下 NFS 服务器是否有相关错误日志。
2 个赞
10

重新挂载nfs后可以导入，持续一段时间后报错restorefull.log (11.3 MB)

11

大概什么时间操作的？日志看了下还挺多的

12

请问是否备份的时候 SSH 断连了呢？从日志中看到 BR 有收到 HANGUP 信号的记录：

image
image1790×98 31.3 KB

可以考虑在 tmux 或者 screen 一类的终端复用器里面运行 BR，这样断连之后就不会被 HANGUP 掉。（理论上 nohup 命令也可以达成类似的效果，但是之前有过 nohup 之后进程仍旧被切断的经历，因此不太建议使用。）

13

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。