救急-tikv启动不了

rw12306 · 2022 年12 月 27 日 02:23

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
v5.4.0
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
【资源配置】

tikv 两个节点突然就启动不了了。

tikv 报错如下

xfworld · 2022 年12 月 27 日 02:39

日志有更多的描述么？看起来是挂掉了

看下这个文件描述的什么内容

rw12306 · 2022 年12 月 27 日 02:41

日志就只有这个信息。
panic_mark_file 这个文件里面是空的，什么都没得

log.log (24.3 KB)

tidb菜鸟一只 · 2022 年12 月 27 日 02:45

空间满了吧？三个tikvdown了两个，估计有点难了，重新起来是可以的，数据不丢失不太可能了。专栏 - TiDB集群恢复之TiKV集群不可用 | TiDB 社区.

rw12306 · 2022 年12 月 27 日 02:46

空间没有满哟，才用10%左右。

songxuecheng · 2022 年12 月 27 日 02:48

先暂时把 panic_mark_file 移动到其他地方。然后在尝试重启。

rw12306 · 2022 年12 月 27 日 02:51

这种不行哟，启动的时候这个文件又出来了，还是报一样的错误。

songxuecheng · 2022 年12 月 27 日 02:51

然后查看下系统文件看下是否有异常 /var/log/message
然后dmesg看下

rw12306 · 2022 年12 月 27 日 02:55

/var/log/messages 日志如下：

dmesg 日志如下：

ohammer · 2022 年12 月 27 日 02:56

坐等大佬分享解决方法，实在不行用万能的重启大法。

rw12306 · 2022 年12 月 27 日 02:57

重启不了哇。

rw12306 · 2022 年12 月 27 日 03:12

我用tikv-ctl 工具分析了一下，也没有错误信息返回。

h5n1 · 2022 年12 月 27 日 03:16

资源够先scaleout 2个tikv,然后做多多副本失败恢复。

rw12306 · 2022 年12 月 27 日 03:20

现在这种扩容数据会丢失不？

rw12306 · 2022 年12 月 27 日 03:21

主要是这个是什么原因哇，突然就不得行了。

h5n1 · 2022 年12 月 27 日 03:26

安装个clinic: tiup install diag 然后收集下down之前的信息上传了等官方看吧

Billmay表妹 · 2022 年12 月 27 日 03:30

参考这个上传一下~

另外记得给你回复的小伙伴就查看权限，

完整的报错也复制黏贴一下

rw12306 · 2022 年12 月 27 日 03:33

没得外网也可以？

h5n1 · 2022 年12 月 27 日 03:35

下载离线包，tiup mirror set 设置路径

xfworld · 2022 年12 月 27 日 03:44

有个节点不是活着么？可以从哪个节点恢复数据…

先找资源扩容下 tikv 节点试试