sysbench压测tidb导致tikv节点数据盘hang住

执行sysbench的预加载数据命令导致io报错,导致tikv节点的数据目录的根目录/data IO完全hang住。执行ls命令报错,df命令还可以看到磁盘,fdisk -l命令已经看不到磁盘了,执行命令和现象截图如下:
sysbench --config-file=config oltp_point_select --tables=11 --table-size=100000000 prepare


系统日志如下:

tikv的日志如下:

该问题出现之后,磁盘无法umount,只能重启机器来修复。

这个还是让主机工程师检查下系统, tidb是在文件系统层读写内容,并不会直接对磁盘做操作

主要是这套环境最近我测试多种分布式数据库,dble+mysql,mongod集群等,就tidb出现这个现象比较不理解。

操作系统层都看不到盘了,和文件系统层上的数据库能有啥关系,还是检查硬件、系统问题吧

因为是tidb压测引发的呀,而且可以必现。

这么神奇呢? tidb的所有操作都已raft log形式写入,所以对磁盘性能有要求,但是你的nvme 性能应该没问题, 主机和磁盘的品牌是什么? 你的系统日志已经显示nvme controller down,压测期间的磁盘性能监控发下看看

tikv的iops在5000到8000左右

集群已经起不来了,看起来像文件写坏了,tidb无法自愈了。


如下是179的tikv日志