Tikv节点down掉

[tuyi (锅子)]

• 【系统版本 & kernel 版本】centos 7.5
• 【TiDB 版本】2.1.16
• 【磁盘型号】
• 【数据量 & region 数量 & 副本数】
• 【问题描述（我做了什么）】
  昨天增加了内存，早上发现tikv节点down掉，通过监控发现节点不停的down然后又up，然后又down
  tikv的日志
  
  
  
  请老师帮忙看看是什么问题

[GangShen]

能帮忙确认一下磁盘读写都是正常的吗

[tuyi (锅子)]

磁盘io很低

[GangShen]

提供一下 down 这台 tikv 节点的日志，全一些的，以及 tidb 节点的日志

[tuyi (锅子)]

这是tikv.log的日志，这个错误之前的信息

这是tidb.log的日志
这些可以吗？

[tuyi (锅子)]

还有这些报错

[Little-Wallace-PingCAP (Wallace)]

麻烦提供 rocksdb 日志。 在data 目录下的 db 目录里面，前缀为 LOG

[Little-Wallace-PingCAP (Wallace)]

最好把挂掉之前的日志都加到附件里面。因为可能机器已经反复重启很久了。 造成重启的原因需要到更久之前的日志去找

[tuyi (锅子)]

LOG (71.2 KB) 老师这是LOG日志，其他的日志太大了，没法上传

[Little-Wallace-PingCAP (Wallace)]

还有系统 dmesg 日志也麻烦提供下

[tuyi (锅子)]

这个日志在哪呢？

[GangShen]

执行 dmesg 命令，将输出内容重定向到一个文本文件

[Little-Wallace-PingCAP (Wallace)]

LOG 开头的其他日志呢？ LOG.xxxxxx 这种格式的，你刚才提供的这个日志已经是故障发生后才生成的了。

[tuyi (锅子)]

dmesg.log (199.8 KB) 这是dmesg信息，其他的log，我正在上传

[Little-Wallace-PingCAP (Wallace)]

data/db/ 目录下面找一下 1839992.sst 这个文件。以及 MANIFEST 前缀开头的所有文件（这个应该只有几个）。

[tuyi (锅子)]

MANIFEST-1474866 (3.8 MB) MANIFEST 前缀开头的文件只有一个

[tuyi (锅子)]

@Little-Wallace-PingCAP

1839992.sst

1839992.sst 文件太大
上传不了

[tuyi (锅子)]

发现LOG.old.XXXX的文件名一直在变

[Little-Wallace-PingCAP (Wallace)]

这个是 rocksdb 的日志，他每次重启后就会创建新的 日志。所以你要把之前全部的日志都给我

[tuyi (锅子)]

也就是说这个节点一直在重启？我现在在offline tikv节点，可以stop吗？