IO利用率爆表

🪐 TiDB 技术问题 性能调优
1

有些硬盘IO使用率长期保持在90%以上，有碰到过？

image
image1339×329 137 KB

2

当前做过什么操作，慢SQL看一下，是不是周末统计类sql多

3

image
image1487×636 63.8 KB

慢查询貌似没有问题，最近几个月都是这样很高

4

我现在转移tikv,下线tikv一直是下线中，快2个小时了还没下线完，不知道怎么回事

5

检查业务是否有批量操作

6

按总执行时间倒序排序看看。也可能是tikv下线导致的。

1 个赞
7

业务没影响就等着

8

之前就是IO很高，现在下线3个tikv ，执行下线命令是成功的，但是下线很久了，还是下线中，看日志有：
[2024/03/09 21:45:30.574 +08:00] [INFO] [advance.rs:296] [“check leader failed”] [to_store=183] [error=“"[rpc failed] RpcFailure: 12-UNIMPLEMENTED"”] ，不知是否这个原因。

9

图中超过90%的三个是同一台机器上部署了三个TiKV实例吗？

10

是不是regin分布不均匀导致的

11

是 的

12

9个tikv对应3台机IO都是超过90%

13

Region没有配置过，默认的

14

硬盘是HDD的吗

15

不是，遗憾就是没有装固态硬盘

16

等完成下线TiKV节点再看看，如果业务量不大，也没什么慢SQL，关注下是否磁盘有问题。

17

该下线的tikv已经下线，我均匀了下tikv,现在IO已经降到85%上下波动

18

手工测试下盘的io

19

没有装固态硬盘 跑数据库100%正常

1 个赞
20

Grafana的Tidb-Cluster-Node_exporter下Disk下面的磁盘读写延迟看下，看下磁盘性能如何，比如写入延迟一般在3ms以内比较好