Tikv 宕机后无法启动 v6.1.0 。

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】V6.1.0
【遇到的问题】TIKV 宕机后无法启动
【复现路径】检查该tikv节点日志,只发现有报错,没有发现具体是啥原因宕机
【问题现象及影响】
运行中的tidb集群中的 某个tikv节点宕机,并且无法启动服务加入集群。
发生时间 2022-10-12 19:54分左右发生错误并记录日志到 tikv_stderr 日志,对业务没有啥影响,只是发现后手动无法启动该节点,也没有分析出具体啥原因导致的tikv_stderr.log (24.9 KB)
【附件】
https://mega.nz/folder/1g1mxSqa#SMbj_Qew8Ao8xx5LCGDqCQ

请提供各个组件的 version 信息,如 cdc/tikv,可通过执行 cdc version/tikv-server --version 获取。

[2022/10/12 21:01:02.681 +07:00] [WARN] [store.rs:1647] [“set thread priority for raftstore failed”] [error=“Os { code: 13, kind: PermissionDenied, message: “Permission denied” }”]

tidb用户对文件有权限吗?

有权限的,部署的时候用的是tidb用户,目录对tidb 进行授权了的

资源够吗

有可能是挂载的盘掉了

看了监控,当时的情况各个资源使用都不高。

手动登录 tidb 用户 对对应的 data 盘手动 touch 文件试试,看是否有权限吧 :thinking:
还不行就扩缩容吧。

image
可以正常touch文件呢,权限说没问题。

扩容是要扩容磁盘么?

将这个 tikv 节点扩缩容实例掉。

已经通过tiup cluster scale-out 进行扩缩容了。

另外,咨询一个问题deploy_dir 以及 data_dir 的路径 是 /data/tidb-deploy 和 /data/tidb-data ,我用tidb 账户在tidb-deployer目录和tidb-data目录及其子目录可以touch 文件,但是在上级目录/data 下是没有权限的,是不是因为这个原因导致的呢?
image

看日志是权限问题,先授权看看能否解决