haproxy 代理tidb 链接数到1000后，无法登录

🪐 TiDB 技术问题
1

【 TiDB 使用环境】测试
【 TiDB 版本】v6.1.1
【复现路径】
【遇到的问题：问题现象及影响】从监控看tidb连接数到1000后，登录 mysql -h haproxyip -P 3390 -u root -p 输入密码后卡死，telnet haproxyip 3390 是通的，直接 mysql -h tidbip -P 4000 -u root -p 可以登录， show processlist; 看连接数为1001。
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面

image
image1291×537 14.4 KB

【附件：截图/日志/监控】
haproxy 配置如下：
global # 全局配置。
log 127.0.0.1 local0 debug # 定义全局的 syslog 服务器，最多可以定义两个。
chroot /var/lib/haproxy # 更改当前目录并为启动进程设置超级用户权限，从而提高安全性。
pidfile /var/run/haproxy.pid # 将 HAProxy 进程的 PID 写入 pidfile。
maxconn 40960 # 单个 HAProxy 进程可接受的最大并发连接数，等价于命令行参数 “-n”。
user pirate # 同 UID 参数。
group pirate # 同 GID 参数，建议使用专用用户组。
daemon # 让 HAProxy 以守护进程的方式工作于后台，等同于命令行参数“-D”的功能。当然，也可以在命令行中用“-db”参数将其禁用。
stats socket /var/lib/haproxy/stats # 统计信息保存位置。

defaults # 默认配置。
log global # 日志继承全局配置段的设置。
retries 2 # 向上游服务器尝试连接的最大次数，超过此值便认为后端服务器不可用。
timeout connect 2s # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内，可设置成较短的时间。
timeout client 30000s # 客户端与 HAProxy 连接后，数据传输完毕，即非活动连接的超时时间。
timeout server 30000s # 服务器端非活动连接的超时时间。

listen admin_stats # frontend 和 backend 的组合体，此监控组的名称可按需进行自定义。
bind 0.0.0.0:8080 # 监听端口。
mode http # 监控运行的模式，此处为 http 模式。
stats enable
option httplog # 开始启用记录 HTTP 请求的日志功能。
maxconn 10 # 最大并发连接数。
stats refresh 30s # 每隔 30 秒自动刷新监控页面。
stats uri /haproxy # 监控页面的 URL。
stats realm HAProxy # 监控页面的提示信息。
stats auth admin:pingcap123 # 监控页面的用户和密码，可设置多个用户名。
stats hide-version # 隐藏监控页面上的 HAProxy 版本信息。
stats admin if TRUE # 手工启用或禁用后端服务器（HAProxy 1.4.9 及之后版本开始支持）。

listen tidb-cluster # 配置 database 负载均衡。
bind 0.0.0.0:3390 # 浮动 IP 和 监听端口。
mode tcp # HAProxy 要使用第 4 层的传输层。
balance leastconn # 连接数最少的服务器优先接收连接。leastconn 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的，对于启动慢的服务器，服务器权重会在运行中作调整。
server tidb-1 192.168.1.1:4000 check inter 2000 rise 2 fall 3 # 检测 4000 端口，检测频率为每 2000 毫秒一次。如果 2 次检测为成功，则认为服务器可用；如果 3 次检测为失败，则认为服务器不可用。
#server tidb-2 192.168.1.180:4000 check inter 2000 rise 2 fall 3
server tidb-3 192.168.2.1:4000 check inter 2000 rise 2 fall 3

2

看看是不是服务器层面设置的过小了

1 个赞
3

感觉不像，如果是服务器层面打开文件数之类限制，telent 应该也不通，才对。不过我服务器层面设置确认没优化，我先优化下试下。

4

https://docs.pingcap.com/zh/tidb/stable/command-line-flags-for-tidb-configuration#--token-limit

5

又仔细看了下，发现好像就是连不上tidb，telnet 虽然是通的但返回不正常，
这是出问题时telnet的返回：
telnet 192.168.2.1 3390
Trying 192.168.2.1…
Connected to 192.168.2.1.
Escape character is ‘^]’.
^]
telnet> Connection closed.

这是正常时telnet 的返回：
telnet 192.168.2.1 3390
Trying 192.168.2.1…
Connected to 192.168.2.1.
Escape character is ‘^]’.
V
5.7.25-TiDB-v6.1.1˧J;n Fs¦.9bmN44]ymysql_native_password^CConnection closed by foreign host.

6

看上去有点像是 TiDB 报的，看下连接数配置？
https://docs.pingcap.com/zh/tidb/stable/system-variables#max_connections

7

看上去是maxconn大于1000，看看其它地方有没有覆盖配置

8

max_connections 看上去是设置成10000了，

MySQL [(none)]> show variables like ‘%max_connections%’;
±----------------±------+
| Variable_name | Value |
±----------------±------+
| max_connections | 10000 |
±----------------±------+
1 row in set (0.00 sec)

9

ps看haproxy用的就是 /etc/haproxy/haproxy.cfg， /etc/sysconfig/haproxy 是空的，

root 38226 1 0 Jul12 ? 00:00:00 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
pirate 38227 38226 0 Jul12 ? 00:00:00 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
pirate 38228 38227 1 Jul12 ? 00:18:51 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds

cat /etc/sysconfig/haproxy

# Add extra options to the haproxy daemon here. This can be useful for
# specifying multiple configuration files with multiple -f options.
# See haproxy(1) for a complete list of options.
OPTIONS=""
10

应该是需要在defaults 和listen 段里都加上maxconn 35000 ，如果不加默认就是2000

1 个赞
11

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。