6.5.3-tikv性能问题

【 TiDB 使用环境】生产环境
【 TiDB 版本】新版本 v6.5.3 , 老版本 v5.4.3
【复现路径】做过哪些操作出现的问题
两套集群分别为t1-主集群和t2-从集群,其中t1集群为5.4.3,t2集群6.5.3
做升级切换后,新版本集群查询变慢了,是批量查询数据,如下,新集群查询要6秒多,老集群只需要1秒多:
新集群

老集群

两个集群的参数差异如下:

服务器性能差异:
老集群相对好一些,12台服务器共728个cpu
新集群相对差一些,但是不多,12台服务器,共632个cpu

【遇到的问题:问题现象及影响】
请问是什么原因呢,查询为什么差距达到了5倍,是不是新版本读机制发生了变化,已经经过多次测试了

【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

这2个版本执行计划一样吗?

你看看两个集群的region数量,和cpu使用率

执行计划一样
新集群

旧集群

集群负载很低,业务低峰期查也是慢
两个集群是主从关系,数据一致的,region数量差不多

2个集群这张表数据量一致吗?2个sql estRows 算子预计将会输出的数据条数不一样啊,给这2张表做个analyze 再看看

新旧2个完整的执行计划上传下

新集群






老集群





tikv CPU繁忙吗 ,看下tikv-detail → thread cpu

cpu很低,几乎没使用,是业务低峰期查的

想知道是不是大家用的时候也是这样,6.5.3深分页查询会变慢,还是只有我们的集群有问题

看了一下执行计划是一下的,有个地方不一样
老集群5.4.3:rpc_num: 7, rpc_time: 6.03s
新集群6.5.3:rpc_num: 303, rpc_time: 12.5s
rpc_num 增加很多,这个怎么优化?