普通Insert语句被记录为慢查询,Query_time耗时达3s,为何会如此?如何优化?

【 TiDB 使用环境】
Centos7

【概述】 场景 + 问题概述
普通Insert语句被记录为慢查询,Query_time耗时达3s,为何会如此?如何优化?

【背景】 做过哪些操作

【现象】 业务和数据库现象
普通的insert语句被记录为慢查询,日志记录Query_time耗时达3s,也有挺多的达到300ms以上
【问题】 当前遇到的问题
写慢
【业务影响】
插入缓慢
【TiDB 版本】
4.0.9

slow query 记录的 prewrite_time 和 commit_time 耗时多少,如果比较高,看一下 tikv 监控中的相关 duration 在慢的时间点是不是存在一些抖动,对照这里的文档看看是哪里比较慢 https://docs.pingcap.com/zh/tidb/stable/tidb-troubleshooting-map#45-tikv-写入慢

具体的耗时基本都是这样:

Query_time: 0.549868194

Parse_time: 0.000098732

Compile_time: 0.000206078

Rewrite_time: 0.000099285

Prewrite_time: 0.54609586 Commit_time: 0.002215155 Get_commit_ts_time: 0.000606634 Write_keys: 7 Write_size: 523 Prewrite_region: 7

可以对照上面的文档,检查下 slow query 出现时间点的 TiKV-Details 监控,从 gRPC - 99% gRPC messge duration 面板的 kv_prewrite 开始,逐层往下检查写入流程涉及的相关 Duration,比如 scheduler command duration、append log duration、propose wait duration、apply log duration、apply wait duration 这些,看看慢在哪里

scheduler command duration、append log duration、propose wait duration、apply log duration、apply wait duration
请教下,这些监控数据是在哪个grafana页面可以看

在 {cluster_name}-TiKV-Details 页面下面,具体指标的位置参考
https://docs.pingcap.com/zh/tidb/stable/grafana-tikv-dashboard