【 TiDB 使用环境】测试环境
【概述】Dashboard 集群信息里Tidb状态显示无法访问,但节点状态是UP状态,
【现象】Dashboard 集群信息里Tidb状态显示无法访问,但节点状态是UP状态,
【业务影响】
【TiDB 版本】4.0.9
- TiUP Cluster Display 信息
【 TiDB 使用环境】测试环境
【概述】Dashboard 集群信息里Tidb状态显示无法访问,但节点状态是UP状态,
【现象】Dashboard 集群信息里Tidb状态显示无法访问,但节点状态是UP状态,
【业务影响】
【TiDB 版本】4.0.9
1、这个tidb是经历过重启吗,还是有过扩缩容操作
2、直连一下这个tidb节点看能否成功
3、上传一下这个tidb节点的日志
对,重启的时候我也遇到过,感觉是Dashboard里的信息延迟,过了十几分钟就一致了。
1.没有重启动过,也没有扩缩
2.直接这个节点是正常的
3.日志见附件
Dashboard中【概况】的右侧,【监控和警告】中有警告信息么?
{“level”:“warn”,“ts”:“2021-08-18T17:32:08.132+0800”,“caller”:“clientv3/retry_interceptor.go:61”,“msg”:“retrying of unary invoker failed”,“target”:“endpoint://client-410ac9a1-fd27-4b16-823b-eea22a68130d/[IP]:2379”,“attempt”:0,“error”:“rpc error: code = DeadlineExceeded desc = context deadline exceeded”}
{“level”:“warn”,“ts”:“2021-08-24T17:04:00.919+0800”,“caller”:“clientv3/retry_interceptor.go:61”,“msg”:“retrying of unary invoker failed”,“target”:“endpoint://client-410ac9a1-fd27-4b16-823b-eea22a68130d/[IP]:2379”,“attempt”:0,“error”:“rpc error: code = DeadlineExceeded desc = context deadline exceeded”}
{“level”:“warn”,“ts”:“2021-08-24T17:04:04.921+0800”,“caller”:“clientv3/retry_interceptor.go:61”,“msg”:“retrying of unary invoker failed”,“target”:“endpoint://client-410ac9a1-fd27-4b16-823b-eea22a68130d/[IP]:2379”,“attempt”:0,“error”:“rpc error: code = Unavailable desc = transport is closing”}
config file conf/tidb.toml contained unknown configuration options: server-memory-quota
看你上传的日志,描述的这是网络节点不通?
另外还有个配置参数不能识别…
@Kongdom帖子有说,重启TIDB进程可以解决这个问题。这是不是dashboard的BUG呀
感觉应该还是网络的问题,可以结合普罗米修斯监控看一下,看看那里面各节点是否是正常的。
网络问题可能不大,在同一个内网,对了,如果是网络方面问题,这个dashboard状态能自动恢复过来吗?
状态显示无法访问可能是 tidb 无法及时更新 lease 到 pd,导致 pd 上面看到的 ttl 到期,可以测一下这个 tidb 节点到 3个 pd 节点的 2379 端口是不是通的比如 telnet [IP] 2379
已脱敏
谢谢老师的回复!给我非常大的帮助!!!
后来发现集群中那台异常的服务器时间相差1分钟,同步时间后,集群状态自动恢复正常了。
看来还是ntp的问题了
是的,谢谢!
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。