Tikv节点down掉

  • 系统版本 & kernel 版本】centos 7.5
  • TiDB 版本】2.1.16
  • 磁盘型号
  • 数据量 & region 数量 & 副本数
  • 问题描述(我做了什么)】 昨天增加了内存,早上发现tikv节点down掉,通过监控发现节点不停的down然后又up,然后又down tikv的日志 请老师帮忙看看是什么问题

能帮忙确认一下磁盘读写都是正常的吗

磁盘io很低

提供一下 down 这台 tikv 节点的日志,全一些的,以及 tidb 节点的日志

这是tikv.log的日志,这个错误之前的信息

这是tidb.log的日志 这些可以吗?

还有这些报错

麻烦提供 rocksdb 日志。 在data 目录下的 db 目录里面,前缀为 LOG

最好把挂掉之前的日志都加到附件里面。因为可能机器已经反复重启很久了。 造成重启的原因需要到更久之前的日志去找

LOG (71.2 KB) 老师这是LOG日志,其他的日志太大了,没法上传

还有系统 dmesg 日志也麻烦提供下

这个日志在哪呢?

执行 dmesg 命令,将输出内容重定向到一个文本文件

LOG 开头的其他日志呢? LOG.xxxxxx 这种格式的,你刚才提供的这个日志已经是故障发生后才生成的了。

dmesg.log (199.8 KB) 这是dmesg信息,其他的log,我正在上传

data/db/ 目录下面找一下 1839992.sst 这个文件。以及 MANIFEST 前缀开头的所有文件(这个应该只有几个)。

MANIFEST-1474866 (3.8 MB) MANIFEST 前缀开头的文件只有一个

1839992.sst 文件太大 上传不了

发现LOG.old.XXXX的文件名一直在变

这个是 rocksdb 的日志,他每次重启后就会创建新的 日志。所以你要把之前全部的日志都给我

也就是说这个节点一直在重启?我现在在offline tikv节点,可以stop吗?