同样的查询在不同的tidb server节点上查询时间差异很大

【 TiDB 使用环境】生产环境
【 TiDB 版本】6.5.2
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

目前是3台物理机上各部署了一个tidb、一个pd、一个tikv


资源配置信息

实例信息


当前节点查询比另外两个节点慢很多


查了执行计划也是一样的,请问这个应该怎么跟着排查和定位问题

不同节点的explain analyze、 trace 结果看看

需要看真实的执行计划,如果201是第一次执行,可能结果被缓存了,然后202和203执行,就直接从缓存里面查询,所以快很多。explain analyze显示的执行计划里面有缓存命中率的,可以检查一下

多次执行的结果吗?
再看看这个表对应的leader region分布?


trace结果



执行很多次 不分先后顺序。201就是比202 203节点慢很多

是的,执行很多次 结果都一样

看trace 201的解析时间要多 ,看explain analyze 201的indexlookup算子时间长,2个结果时间差异还比较大。这几个节点的硬件配置都一样吧,型号 类型 有没有numa绑定,cpu节能模式是不都关掉了。

硬件配置是一样的,型号 类型 有没有numa绑定 这些也是一样的,cpu节能模式的状态怎么查看的

慢的那个跨节点查询了吧

https://docs.pingcap.com/zh/tidb/stable/tune-operating-system#处理器动态节能技术

三台机器都是 performance

重启下慢的tidb试试?

现在的集群版本是升级上来的吗?

重启慢的那个TiDB server节点的意思吗

是的 从 5的版本升级上来的

select version(); 看下每个tidb的版本

image
3个tidbserver上的结果一样

对比下3个tidb的变量(show variables ) 和参数差异(information_schema.CLUSTER_CONFIG type=‘tidb’)

除了hostname ip这种信息以外 其他的都一样