br 备份到本地正常，备份到本地挂载nfs，其中一个tikv 显示io 异常？

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：
【 TiDB 使用环境】
V5.2.3版本

【概述】 场景 + 问题概述
br 全库备份
./br backup full --pd “http://pd:2379” -s “local:///opt/full_20220326/”
备份没问题，正常，其中/opt/full_20220326为各个tikv节点的本地路径；

通过nfs 挂载到各个tikv 节点，也测试了手工写文件，权限都正常；
./br backup full --pd “http://pd:2379” -s “local:///tidb_backup/full_20220326/”
备份失败，显示其中一个tikv 节点异常：
[2022/03/26 16:21:14.635 +08:00] [ERROR] [endpoint.rs:304] [“backup save file failed”] [err_code=KV:Unknown] [err=“Io(Os { code: 22, kind: InvalidInput, message: “Invalid argument” })”]
[2022/03/26 16:21:14.635 +08:00] [ERROR] [endpoint.rs:742] [“backup region failed”] [err_code=KV:Unknown] [err=“Io(Os { code: 22, kind: InvalidInput, message: “Invalid argument” })”] [end_key=7480000000000005625F698000000000000002013130000000000000F9013000000000000000F8013030000000000000F9013000000000000000F8038000000000058B9F] [start_key=7480000000000005625F69800000000000000200] [region=“id: 3965636 start_key: 7480000000000005FF625F698000000000FF0000010380000000FF0132432603800000FF0000028C08038000FF0000000000010000FD end_key: 7480000000000005FF625F698000000000FF0000020131300000FF00000000F9013000FF000000000000F801FF3030000000000000FFF901300000000000FF0000F80380000000FF00058B9F00000000FB region_epoch { conf_ver: 1961 version: 3683 } peers { id: 4035479 store_id: 28 } peers { id: 4041515 store_id: 4 } peers { id: 4041544 store_id: 29 }”]
[2022/03/26 16:21:14.635 +08:00] [INFO] [service.rs:66] [“backup closed”]
[2022/03/26 16:21:14.636 +08:00] [ERROR] [service.rs:73] [“backup canceled”] [error=RemoteStopped]
[2022/03/26 16:21:15.656 +08:00] [ERROR] [endpoint.rs:304] [“backup save file failed”] [err_code=KV:Unknown] [err=“Io(Os { code: 22, kind: InvalidInput, message: “Invalid argument” })”]
[2022/03/26 16:21:15.656 +08:00] [ERROR] [endpoint.rs:742] [“backup region failed”] [err_code=KV:Unknown] [err=“Io(Os { code: 22, kind: InvalidInput, message: “Invalid argument” })”] [end_key=7480000000000005625F698000000000000001FB] [start_key=7480000000000005625F698000000000000001038000000001324326038000000000028C08038000000000000001] [region=“id: 3965636 start_key: 7480000000000005FF625F698000000000FF0000010380000000FF0132432603800000FF0000028C08038000FF0000000000010000FD end_key: 7480000000000005FF625F698000000000FF0000020131300000FF00000000F9013000FF000000000000F801FF3030000000000000FFF901300000000000FF0000F80380000000FF00058B9F00000000FB region_epoch { conf_ver: 1961 version: 3683 } peers { id: 4035479 store_id: 28 } peers { id: 4041515 store_id: 4 } peers { id: 4041544 store_id: 29 }”]
[2022/03/26 16:21:15.656 +08:00] [ERROR] [endpoint.rs:771] [“backup failed to send response”] [err_code=KV:Unknown] [err=“TrySendError { kind: Disconnected }”]

【备份和数据迁移策略逻辑】

【背景】 做过哪些操作

【现象】 业务和数据库现象

【问题】 当前遇到的问题

【业务影响】

【TiDB 版本】

【附件】

  • 相关日志、配置文件、Grafana 监控（https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控（如有 BR、TiDB-binlog、TiCDC 等）
  • 对应模块日志（包含问题前后 1 小时日志）

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

2

基本就两种情况吧：
1、备份用户对目录的权限不够
2、备份目录磁盘空间不够

3

1，报错信息kind: InvalidInput, message: “Invalid argumen
2，可能由于nfs挂载参数错误，导致，建议重新挂载nfs，并检查每个节点参数是否一致。
3，建议：正确挂载 NFS 后，重新使用 BR 备份

4

都不是，权限够的，上面已经说明了，备份的磁盘空间也是够的

5

重新挂载过，没问题，我手动在挂载的目录写文件，都正常

6

请问一下 NFS 的备份目录是否有任意 SST 文件写入成功呢？

7

这段有点疑问，看日志信息应该是br输出的，不是TIKV节点的吧？

另外，备份目录是用执行br的用户创建的吗

8

有部分成功

9

上面我发的是tikv 节点输入的日志，br 的日志定位到这台tikv 节点，然后上面显示的是这台tikv 节点的日志；

备份目录是用br用户创建的，这点毋庸置疑

10

参考下这个帖子吧，还是NFS挂载有问题，重点看看报错的那个TiKV节点

11

看起来比较奇怪，看起来确实只有一部分 store 遇到了这个问题:thinking:。请问里面有形如 {文件名}.sst.tmp 的文件吗？

12

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。