tidb性能整体突然下降,好多数据平衡

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】

【概述】 tidb性能整体突然下降,好多数据平衡
【背景】 做过哪些操作

【问题】tidb性能整体突然下降,好多数据平衡,qps急剧下降

【业务影响】

【TiDB 版本】 3.1.0

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。


qps急剧下降

screencapture-monitor-tidb-federated-5upay-d-eDbRZpnWk-tidb-federated-overview-2022-01-12-10_11_48

检查一下集群状态,是否有节点下线。在把全部的监控发一下

从上面监控中看集群 storage size 有明显上升趋势,leader/region balance ration 的值很高,可以看下是不是前端突然灌入了大量数据,以及集群是否有明显的读写热点问题,可以参考下:
https://docs.pingcap.com/zh/tidb/v3.1/high-concurrency-best-practices

看起来是混合部署,请检查一下tikv 存储空间是否充足。

没有下线的

检查了,每个使用64%左右

感觉不是这的问题,是九点突然变下降的

磁盘是每个目录单独挂盘。还是共享的?

单独目录

看下日志 是否有节点重启。

这个怎么看?

查看tikv节点的日志,后者看下tikv的进程启动时间

好的,我看看

没有,最新的启动时间都是2021年的

high-space-ratio. 检查一下这个参数的设置是否是0.6

怎么查看