99% Region heartbeat latency延迟高怎么处理

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】v4.0.11
【复现路径】正在做扩容,但是99% Region heartbeat latency2个节点延迟有点高,这个2个节点是在同一台服务器上面。


如图所示:
【遇到的问题:问题现象及影响】请问下,99% Region heartbeat latency延迟高一般是什么原因,要怎么处理。
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

可以 blackbox-exporter 看下 这个节点的网络状况是否正常?

1.确认一下网络问题是否正常
2.还有对应 tikv 节点的健康状况、IO、CPU等资源占用情况
3.是否有热点问题

问题都在一个节点上,检查下这个节点的服务器资源吧,八成是这个节点有问题

看下pd资源的使用情况,因为扩容时,pd节点会将新节点的元数据信息加载进来,可能导致短暂的延迟情况,待稳定运行后观察下情况

看下tikv使用的磁盘延迟情况,磁盘延迟高也会有影响

1、对tidb pd tikv所有机器相互ping下看下网络延迟情况
2、watch -d ifconfig看下丢包率如何