因日志写满磁盘导致
报错信息如下:No such file or directory\nCan’t access /672945.sst: IO error: No such file or directorywhile stat a file for size: /opt/tidb/data/tikv-20160/db/672945.sst: No such file or directory\nCan’t access /672946.sst: IO error: No such file or directorywhile stat a file for size: /opt/tidb/data/tikv-20160/db/672946.sst: No such file or directory\nCan’t access /672947.sst: IO error: No su
[root@kafka03 ~]# vi /opt/tidb/deploy/tikv-20160/log/tikv.log
没监控么? 这样会丢数据的…
看看其他的tikv 节点是否正常,先扩一个节点,保证数据不丢的情况下,再来恢复这个有问题的节点。
如果其他的节点也不正常,只能采取有损恢复了…
参考下:
https://docs.pingcap.com/zh/tidb/stable/pd-control#unsafe-remove-failed-stores-store-ids--show
版本也比较旧了,会有点难受的…
其他两个节点正常。就第三个节点故障了。
看下系统日志,是不是硬件坏了。
硬件没坏,就是磁盘写满了导致的,pd能启动,tikv 无法启动。
3个节点,有两个节点是正常的,第三个节点tikv 启动不了,pd 是可以启动的。
感觉要扩容,缩容搞了
看看文件系统实际文件存在不?
提示的文件没有,
为何看主机名是kafka03,kv上还有kafka集群?
看下路径还存在不,可读写不
扩容缩容修复吧