tikv日志提示pd worker send latency inspecter failed

今天发现三个节点中的某个tikv down掉了,日志老刷pd worker send latency inspecter failed,然后我尝试扩容一个新的节点,但依然报这个异常,其他的两个节点没问题

  1. 检查一下pd io是否有问题
  2. tikv的完整日志发一下
  3. tikv的监控发一下

这个节点的日志全是在刷这一行,监控我在看,不知该看那个指标

现在又提示这个

监控完整的发一下

看看pd 和tikv间的网络情况

这是gc的,看到日志打印了gc的异常

我还得好好研究一下监控指标。。。image

pd和tikv断开连接怎么修复?

断开连接? 网络不通了?网络通它能自动连的

执行telnet是通的,排除网络问题,这几台集群有新旧两套集群,旧的没问题,新的扩容了两个tikv都是通透的问题,先是 Disconnected,然后down,不清楚是不是旧集群影响的

telnet的tikv 2个端口吗?

是的,在pd telnet down状态的tikv两个端口,以及在tikv telnet pd 都是没问题的,

tikv 日志也是不断提示:pd worker send latency inspecter failed