Br备份出现tikv storage occur I/O error 报错,导致备份失败。

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
v5.1.1
【概述】场景+问题概述
测试Br工具同步到s3上,执行过程中报错提示[BR:KV:ErrKVStorage]tikv storage occur I/O error。测试机器可以通过s3 ctl工具上传文件到s3对象存储,排除本地机器上传没有权限的设想。
tidb集群执行完br后display集群的状态正常。如下图所示:


怀疑过br 备份I/O过高,导致TIKV挂掉。这里尝试登录到每台主机检查TIKV节点是否被kill。从实际情况看并没有发生tikv挂掉的情况。因此,排除display信息的tikv状态跟实际主机上TIKV状态不一致的设想。如下图,



【背景】部署集群,导入数据,利用br备份该集群的数据。

【现象】

br备份失败,s3上有backup.lock文件生成。
【业务影响】
本地测试环境验证,对于业务无影响。
【TiDB 版本】
v5.1.1
【附件】

  1. TiUP Cluster Display 信息
  • 对应模块日志(包含问题前后1小时日志)
    备份的日志文件如下:
    backuptable.log (153.5 KB)

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1 个赞

感觉你发的这个问题,和另一个帖子比较相似

可以先看看

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。