近期tidb 同一个sql 查询突然变慢,发现 Coprocessor 执行耗时太长

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】

【概述】 场景 + 问题概述


【背景】 做过哪些操作

【现象】 业务和数据库现象

【问题】 当前遇到的问题
Coprocessor 执行耗时太长,sql 本身很快。发现grpc 耗时长,求大佬帮忙
【业务影响】

【TiDB 版本】
v5.4.0
【应用软件及版本】

【附件】 相关日志及配置信息

  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息

监控(https://metricstool.pingcap.com/)

  • TiDB-Overview Grafana监控
  • TiDB Grafana 监控
  • TiKV Grafana 监控
  • PD Grafana 监控
  • 对应模块日志(包含问题前后 1 小时日志)

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1、 业务量是否有变化,检查tidb qps /cps等监控
2、 SQL处理的数据量是否变化
3、检查慢SQL是否存在执行计划不正确的,或者大量的历史版本
4、 看看corpocessor瓶颈在网络还是tikv处理上
TiDB --> KV Request Duration 99 by store 表示依据 tikv store 分类统计 99% 的 KV 请求执行时间(就是 tidb 发消息给 tikv 得到反馈的时间,按 message type 分类)
TiKV-Details --> 99% gRPC message duration 表示 99% 的 gRPC 请求的执行时间小于该值(就是 tikv 接收到信息处理完成到返回的给 tidb 的时间消耗,按 message type 分类)

参考 这个图去排查

可以看看这个视频 TiDB 高级系统管理 [TiDB v5] (pingcap.com)

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。