TIDB 服务器异常断电，插入和查询效率降低，如何排查问题？

🪐 TiDB 技术问题
, , ,
1

【 TiDB 使用环境】测试
【 TiDB 版本】V8.1.0
【复现路径】
【遇到的问题：问题现象及影响】
单数据表数据量大概在5亿左右，查询速度在3秒以内就可以查出来；有一个持续插入数据的软件，插入效率在10秒以内， 整体效率比较高。
后来服务器异常断电，TIDB正常启动后，查询速度慢了很多，查询可以达到1分钟，总共返回30万条数据左右 。 持续插入数据的软件，看插入过程时间，有的时候达到40秒或更高，也有插入正常情况10秒以内。 效率相比以前降低很多。 以上情况如何排查,如何调优？是不是内部数据出现了问题？ 请了解的人给提供一种排查调试思路
【资源配置】
【附件：截图/日志/监控】
以下是集群搭建的情况

微信截图_20240715162610
微信截图_202407151626101191×899 133 KB

数据存储占用空间

1_20240715163130
1_202407151631301493×887 182 KB

tikv_servers:

  • host: 192.168.1.243
    ssh_port: 22
    port: 20160
    status_port: 20180
    deploy_dir: /tidb-deploy/tikv-20160
    data_dir: /tidb-data/tikv-20160
    log_dir: /tidb-deploy/tikv-20160/log
    config:
    server.labels:
    $mode: readonly
    host: logic-host-1
    arch: amd64
    os: linux
2

混合部署，243这台你部署的太多了。断电前的各项指标和断电后的各项指标对比图有么。qps情况。

3

除了断电，其它的都没有变化，现在没有断电前的图，无法对比。
现在所有查询都是人工使用客户端人工查，人工查询频率还是比较低的。 没有其它的查询。

image
image1313×957 70.7 KB

4

机器配置大概什么样，一共三台机器部署了这么多服务啊？

5

偶发还是所有sql都慢了？ 看下具体执行信息 是不是 coprocessor time 很高？

6

:thinking: 可能和命中率也有关系，重启节点数据在缓存？
你可以看下慢的 SQL 的时间分布和执行计划里面是不是 tikv rpc 有慢的，是不是就是重启节点慢。

7

你把那个大表重新 ANALYZE TABLE 下

8 
 查看TiDB、TiKV和PD的日志，检查是否有错误信息或警告。
特别关注服务器异常断电后的日志，看是否有数据恢复或其他异常操作。
9

断电异常后，建议先看一下系统日志。看看报什么问题

10

检查日志看看

12

断电，应该不是导致性能的原因。断电只能导致硬件损坏。