k8s环境下给集群扩大request,出现一个tikv一直basic-tikv-27 0/1 CrashLoopBackOff 8

!-- 点击复制链接完成认证,获得“加急”处理问题的权限,方便您更快速地解决问题。 -->

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
tidb-operator1.1.12
tikv5.1.0
裸kv集群无tidb

【概述】 场景 + 问题概述

【背景】 做过哪些操作

【现象】 业务和数据库现象

【问题】 当前遇到的问题
[2021/09/17 08:00:31.515 +00:00] [INFO] [mod.rs:118] [“encryption: none of key dictionary and file dictionary are found.”]
[2021/09/17 08:00:31.516 +00:00] [INFO] [mod.rs:479] [“encryption is disabled.”][2021/09/17 08:00:31.516 +00:00] [ERROR] [server.rs:986] [“failed to init io snooper”] [err_code=KV:Unknown] [err="“IO snooper is not started due to not compiling with BCC”"]
[2021/09/17 08:00:31.597 +00:00] [FATAL] [server.rs:1121] [“failed to create kv engine: Storage Engine Corruption: Can’t access /002881.sst: IO error: No such file or directorywhile stat a file for size: /var/lib/tikv/db/002881.sst: No such file or directory\n”]

在pv目录下的确找不到这个文件
请问怎么处理
【业务影响】

【TiDB 版本】

【应用软件及版本】

【附件】 相关日志及配置信息

  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息

监控(https://metricstool.pingcap.com/)

  • TiDB-Overview Grafana监控
  • TiDB Grafana 监控
  • TiKV Grafana 监控
  • PD Grafana 监控
  • 对应模块日志(包含问题前后 1 小时日志)

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

可以参考这个帖子排查下:

情况不一样,我不是反复报这个错,我只是启动有这个错BBC这个是正常报的,问题好像在下面那个

那路径下有没有 /var/lib/tikv/db/002881.sst 这个文件?如果有的话,看下是不是空间满了。

确实没有这个文件是不是数据丢了,存储是够的有TB的容量

麻烦检查下路径 /var/lib/tikv/db/ 的读写权限是否正常。

我直接看pv挂载的文件夹目录下的/db/里也是没有的

其他 tikv 节点这个路径是正常的吗?怀疑是不是 pvc 哪里有问题,可以考虑缩容掉该节点然后重新扩容一个。

其他节点目前没问题,如果考虑缩容,他首选的是最后一个tikv就算tikv-37,选不到它,难道要全部缩掉?
我看了一下pvc看着也没什么问题

可以尝试手工创建一个空的 /var/lib/tikv/db/002881.sst 文件,看下能否成功呢?

我缩容缩掉了,后来又新建的pv扩容了…