Dashboard 集群信息里Tidb状态显示无法访问,但节点状态又是UP状态,这是为什么?

【 TiDB 使用环境】测试环境
【概述】Dashboard 集群信息里Tidb状态显示无法访问,但节点状态是UP状态,

【现象】Dashboard 集群信息里Tidb状态显示无法访问,但节点状态是UP状态,
【业务影响】
【TiDB 版本】4.0.9

  1. TiUP Cluster Display 信息
    1
2赞

1、这个tidb是经历过重启吗,还是有过扩缩容操作
2、直连一下这个tidb节点看能否成功
3、上传一下这个tidb节点的日志

2赞

对,重启的时候我也遇到过,感觉是Dashboard里的信息延迟,过了十几分钟就一致了。

2赞

1.没有重启动过,也没有扩缩
2.直接这个节点是正常的
3.日志见附件

2赞

Dashboard中【概况】的右侧,【监控和警告】中有警告信息么?

2赞

{“level”:“warn”,“ts”:“2021-08-18T17:32:08.132+0800”,“caller”:“clientv3/retry_interceptor.go:61”,“msg”:“retrying of unary invoker failed”,“target”:“endpoint://client-410ac9a1-fd27-4b16-823b-eea22a68130d/[IP]:2379”,“attempt”:0,“error”:“rpc error: code = DeadlineExceeded desc = context deadline exceeded”}
{“level”:“warn”,“ts”:“2021-08-24T17:04:00.919+0800”,“caller”:“clientv3/retry_interceptor.go:61”,“msg”:“retrying of unary invoker failed”,“target”:“endpoint://client-410ac9a1-fd27-4b16-823b-eea22a68130d/[IP]:2379”,“attempt”:0,“error”:“rpc error: code = DeadlineExceeded desc = context deadline exceeded”}
{“level”:“warn”,“ts”:“2021-08-24T17:04:04.921+0800”,“caller”:“clientv3/retry_interceptor.go:61”,“msg”:“retrying of unary invoker failed”,“target”:“endpoint://client-410ac9a1-fd27-4b16-823b-eea22a68130d/[IP]:2379”,“attempt”:0,“error”:“rpc error: code = Unavailable desc = transport is closing”}
config file conf/tidb.toml contained unknown configuration options: server-memory-quota


看你上传的日志,描述的这是网络节点不通?
另外还有个配置参数不能识别…

3赞

2赞

@xfworld 这个是以前的日志,关注10月11日的就行。

2赞

@Kongdom帖子有说,重启TIDB进程可以解决这个问题。这是不是dashboard的BUG呀

2赞

感觉应该还是网络的问题,可以结合普罗米修斯监控看一下,看看那里面各节点是否是正常的。

2赞
  1. 排查网络问题
  2. 可以考虑升级版本
2赞

网络问题可能不大,在同一个内网,对了,如果是网络方面问题,这个dashboard状态能自动恢复过来吗?

2赞

状态显示无法访问可能是 tidb 无法及时更新 lease 到 pd,导致 pd 上面看到的 ttl 到期,可以测一下这个 tidb 节点到 3个 pd 节点的 2379 端口是不是通的比如 telnet [IP] 2379

2赞

@qizheng @xfworld可否把Ip屏蔽一下,日志里忘记改了,非常感谢!

已脱敏

谢谢老师的回复!给我非常大的帮助!!!

后来发现集群中那台异常的服务器时间相差1分钟,同步时间后,集群状态自动恢复正常了。

1赞

看来还是ntp的问题了

是的,谢谢!