kv节点剔除后,commit耗时增加

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
生产业务
【概述】 场景 + 问题概述
tikv节点因硬件故障关,关闭后真个tikv duration里看到commit rt 慢了将近-10倍
【背景】 做过哪些操作
tikv节点因硬件故障后,将有问题的tikv关闭下线了
【现象】 业务和数据库现象
整个tidb集群的select和dml操作均变慢
【问题】 当前遇到的问题
整个tidb集群的select和dml操作均变慢
【业务影响】
整个tidb集群的select和dml操作均变慢
【TiDB 版本】
mysql> select tidb_version()
→ ;
±-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| tidb_version() |
±-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Release Version: v3.1.0
Git Commit Hash: 1347df814de0d603ef844d53b2c8d54fc760b75e
Git Branch: heads/refs/tags/v3.1.0
UTC Build Time: 2020-04-16 09:38:11
GoVersion: go version go1.13 linux/amd64
Race Enabled: false
TiKV Min Version: v3.0.0-60965b006877ca7234adaced7890d7b029ed1306
Check Table Before Drop: false |

【应用软件及版本】

【附件】 相关日志及配置信息

  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息

监控(https://metricstool.pingcap.com/)



若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

看看关闭tikv后leadrer/region是否完成均衡,磁盘IO情况

估计要多久?

磁盘IO忙吗

抽了一个节点

是nvme盘吗,看着读写量也不高啊 ,利用率打满了

我现在把region balance关闭了。看了统计信息也么有后台任务。不是知道是啥导致io高


nvme是磁盘

应该是做region 重新选举和 PD调度region