TiDB集群报错:too many connections

【 TiDB 使用环境】生产环境
【 TiDB 版本】V6.5.1
【复现路径】
【遇到的问题:问题现象及影响】
【资源配置】
业务侧反馈连接不到TiDB集群,报错too many connections,查看TiDB Sever节点日志,也出现非常多的too many connections的报错,如下:

从报错信息看,最大连接数参数max_connections是15,但是我登录到TiDB Server节点后,查看参数是没有做设置的, 该变量值为 0 表示不限制客户端连接数
image

image

各位大佬帮忙看看是啥原因,是不是bug呀?

有几个tidb节点,可能报错的tidb节点和你show variables 的不是一个,我记得设置这个参数只对当前tidb节点生效。


edit config一下看看有没有设置

max-server-connections这个参数看看

1040那个服务器的max connections设置小了把?

我记得这个参数应该是跟随节点的,不是全局的一个参数

image

看起来就这一个tidb的连接数有15的限制,单独连这个tidb查下max_connections看是不是设置了15吧,之前是不是通过负载均衡连过去的,可能看到的是其他节点的参数。

edit config查看也是没有进行设置的,报错的就只有那一个节点,其他的节点都是正常的

我登录的节点就是,报too many connections节点,我登录到每一个TiDB Server节点查看,都是默认值0,
image

6.5.1好像没有这个max-server-connections参数了

有这个参数,不过貌似show config直接查查不到,tiup cluster edit-config 看看是不是设置了max-server-connections,如果是这个原因直接在这个tidb节点设置下max_connections一个很大的值,比如10000,可能就好了,因为max_connections优先级比较高,可以试试。

这个有有影响业务吗

tiup cluster edit-config 查看没有任何连接数参数相关的配置的,所以这个问题就奇怪了

肯定影响业务呀,业务也是会报错too many connections

set max_connections=10000,这样设置下好使吗


目前我没有做任何的调整,现在这个节点连接数能超过15了

除了报错日志,实际连接会连不上吗?

会的,不仅TiDB Server节点报错,业务程序也是无法连接的

看下问题节点操作系统日志有啥信息没

从有问题节点的操作系统日志看,没有发现有啥异常