tikv日志提示pd worker send latency inspecter failed

Hacker007 · 2022 年8 月 4 日 02:16

今天发现三个节点中的某个tikv down掉了，日志老刷pd worker send latency inspecter failed，然后我尝试扩容一个新的节点，但依然报这个异常，其他的两个节点没问题

songxuecheng · 2022 年8 月 4 日 02:30

Hacker007 · 2022 年8 月 4 日 02:44

这个节点的日志全是在刷这一行，监控我在看，不知该看那个指标

Hacker007 · 2022 年8 月 4 日 05:41

现在又提示这个

songxuecheng · 2022 年8 月 4 日 06:04

监控完整的发一下

h5n1 · 2022 年8 月 4 日 06:09

看看pd 和tikv间的网络情况

Hacker007 · 2022 年8 月 4 日 06:10

这是gc的，看到日志打印了gc的异常

Hacker007 · 2022 年8 月 4 日 06:13

我还得好好研究一下监控指标。。。

Hacker007 · 2022 年8 月 5 日 03:20

pd和tikv断开连接怎么修复？

h5n1 · 2022 年8 月 5 日 03:23

断开连接？网络不通了？网络通它能自动连的

Hacker007 · 2022 年8 月 5 日 03:54

执行telnet是通的，排除网络问题，这几台集群有新旧两套集群，旧的没问题，新的扩容了两个tikv都是通透的问题，先是 Disconnected,然后down，不清楚是不是旧集群影响的

h5n1 · 2022 年8 月 5 日 03:56

telnet的tikv 2个端口吗？

Hacker007 · 2022 年8 月 5 日 05:37

是的，在pd telnet down状态的tikv两个端口，以及在tikv telnet pd 都是没问题的，

Hacker007 · 2022 年8 月 5 日 05:51

tikv 日志也是不断提示：pd worker send latency inspecter failed

Min_Chen · 2022 年8 月 10 日 03:12

您好，麻烦看下 pd leader 的日志有没有异常？

Hacker007 · 2022 年8 月 10 日 06:14

谢谢关注，重启tikv解决了，但后面也出现数据不一致，重启tidb解决了

system · 2022 年10 月 9 日 06:14

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。