【 TiDB 使用环境】生产环境
【 TiDB 版本】6.5.1
【遇到的问题:问题现象及影响】增加了一台tikv节点(物理机),用的是M2固态,导致IO很高,查看是jdb2导致的 ,其他节点用的是普通ssd硬盘,io正常
【附件:截图/日志/监控】
【 TiDB 使用环境】生产环境
【 TiDB 版本】6.5.1
【遇到的问题:问题现象及影响】增加了一台tikv节点(物理机),用的是M2固态,导致IO很高,查看是jdb2导致的 ,其他节点用的是普通ssd硬盘,io正常
【附件:截图/日志/监控】
应该是刚扩容的节点在均衡数据吧,另外这个其实没啥参考意义,可以看下 grafana 监控里面的 node exporter - disk 部分的 iops 和 磁盘读写流量大小
我想到3点,你可以参考一下:
1、M2固态硬盘本身特点的原因,它本身具有较高的读写速度和IOPS,在相同的负载下,M2硬盘的IO可能更频繁
2、jbd2是Linux内核中的ext4文件系统的事务日志进程,检测到文件系统更改时,会将更改记录到日志中,这个过程中可能会产生大量的IO活动,但是我看你这个一直高,可能不是这个原因
3、可能跟新增的TiKV节点配置有关,你检查一下缓存、并发等配置呢
你是在一个服务器上启动了多个tikv节点吗?
手搓版本么?能否上图看下 tiup 的拓扑结构
81.19k/s 这个很高么?
如果单位是 kb 我理解这个压力很低的吧。难道这里是 iops 的意思?
iops 只有 500 , 磁盘读写 latency 也没有延迟, 这个。io util 100% 没实际影响,可以忽略。
如果可能,可以尝试更换硬盘类型进行测试,比较不同类型硬盘在相同负载下的IO表现,之前我这边是有出现过磁盘阵列缓存没有开启,导致磁盘的IO能力很差的情况,后面机房人员开启后,就好了很多倍