keepalived+haproxy连接容易断开

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】8.1.2
【遇到的问题】：
kettle资源库使用tidb集群，使用keepalived+haproxy后，kettle连接容易断开（数据处理任务因为资源库连接失败而报错），没使用keepalived+haproxy 没出现这种问题（kettle配置没变）
【资源配置】
操作系统：ubuntu24
haproxy配置如下：
global
log /dev/log local0
log /dev/log local1 notice
chroot /var/lib/haproxy
stats socket /run/haproxy/admin.sock mode 660 level admin
stats timeout 30s
user haproxy
group haproxy
daemon

    # Default SSL material locations
    ca-base /etc/ssl/certs
    crt-base /etc/ssl/private

    # See: https://ssl-config.mozilla.org/#server=haproxy&server-version=2.0.3&config=intermediate
    ssl-default-bind-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256
    ssl-default-bind-options ssl-min-ver TLSv1.2 no-tls-tickets

defaults
log global
mode http
option httplog
option dontlognull
timeout connect 5000
timeout client 50000
timeout server 50000
errorfile 400 /etc/haproxy/errors/400.http
errorfile 403 /etc/haproxy/errors/403.http
errorfile 408 /etc/haproxy/errors/408.http
errorfile 500 /etc/haproxy/errors/500.http
errorfile 502 /etc/haproxy/errors/502.http
errorfile 503 /etc/haproxy/errors/503.http
errorfile 504 /etc/haproxy/errors/504.http
listen admin_stats
bind 0.0.0.0:8080
mode http
option httplog
maxconn 10
stats refresh 30s
stats uri /haproxy
stats realm HAProxy
stats auth admin:admin123
stats hide-version
stats admin if TRUE
listen tidb-cluster
bind 0.0.0.0:801
mode tcp
balance leastconn

keepalived配置
global_defs {
router_id HA_TIDB
}

vrrp_instance VI_TIDB {
state BACKUP
interface enp1s0f0
virtual_router_id 173
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1234
}
virtual_ipaddress {
X.X.X.X
}
}

virtual_server XX.XX.XX.XX 4000 {
delay_loop 6
persistence_timeout 50
protocol TCP
real_server X.X.X.X 801 {
weight 1
notify_down /etc/keepalived/stopkeepalived.sh
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

2

有报错信息么？

3

ETL工具连接断了，显示超时，重新连接才能正常使用。
kettle直接用 tidb_server节点连接资源库，就不会断开连接

4

是不是这个配置的问题？

image
image1666×606 76.3 KB

1 个赞
5

haprox改成tidb官方推荐配置，配置文件复制过去用
HAProxy 在 TiDB 中的最佳实践 | TiDB 文档中心

image
image1319×1132 212 KB

2 个赞
6

参考下面的配置：
global # 全局配置。
log 127.0.0.1 local2 # 定义全局的 syslog 服务器，最多可以定义两个。
chroot /var/lib/haproxy # 更改当前目录并为启动进程设置超级用户权限，从而提高安全性。
pidfile /var/run/haproxy.pid # 将 HAProxy 进程的 PID 写入 pidfile。
maxconn 4096 # 单个 HAProxy 进程可接受的最大并发连接数，等价于命令行参数 “-n”。
nbthread 48 # 最大线程数。线程数的上限与 CPU 数量相同。
user haproxy # 同 UID 参数。
group haproxy # 同 GID 参数，建议使用专用用户组。
daemon # 让 HAProxy 以守护进程的方式工作于后台，等同于命令行参数“-D”的功能。当然，也可以在命令行中用“-db”参数将其禁用。
stats socket /var/lib/haproxy/stats # 统计信息保存位置。

defaults # 默认配置。
log global # 日志继承全局配置段的设置。
retries 2 # 向上游服务器尝试连接的最大次数，超过此值便认为后端服务器不可用。
timeout connect 2s # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内，可设置成较短的时间。
timeout client 30000s # 客户端与 HAProxy 连接后，数据传输完毕，即非活动连接的超时时间。
timeout server 30000s # 服务器端非活动连接的超时时间。

listen admin_stats # frontend 和 backend 的组合体，此监控组的名称可按需进行自定义。
bind 0.0.0.0:8080 # 监听端口。
mode http # 监控运行的模式，此处为 http 模式。
option httplog # 开始启用记录 HTTP 请求的日志功能。
maxconn 10 # 最大并发连接数。
stats refresh 30s # 每隔 30 秒自动刷新监控页面。
stats uri /haproxy # 监控页面的 URL。
stats realm HAProxy # 监控页面的提示信息。
stats auth admin:pingcap123 # 监控页面的用户和密码，可设置多个用户名。
stats hide-version # 隐藏监控页面上的 HAProxy 版本信息。
stats admin if TRUE # 手工启用或禁用后端服务器（HAProxy 1.4.9 及之后版本开始支持）。

listen tidb-cluster # 配置 database 负载均衡。
bind 0.0.0.0:3390 # 浮动 IP 和 监听端口。
mode tcp # HAProxy 要使用第 4 层的传输层。
balance leastconn # 连接数最少的服务器优先接收连接。leastconn 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的，对于启动慢的服务器，服务器权重会在运行中作调整。
server tidb-1 10.9.18.229:4000 check inter 2000 rise 2 fall 3 # 检测 4000 端口，检测频率为每 2000 毫秒一次。如果 2 次检测为成功，则认为服务器可用；如果 3 次检测为失败，则认为服务器不可用。
server tidb-2 10.9.39.208:4000 check inter 2000 rise 2 fall 3
server tidb-3 10.9.64.166:4000 check inter 2000 rise 2 fall 3

7

设置长点的链接时间呢，或者换个负载均衡器。

8

连接要发心跳才行的，不然haproxy 会切换，会导致会话丢失

不行的话，就直连吧

9

这两个参数的问题。这里的单位是毫秒，也是客户端/服务端只要50s没响应，连接就断开。

建议不要自己设置，直接复制haproxy最佳实践中的配置。

https://docs.pingcap.com/zh/tidb/stable/haproxy-best-practices/#haproxy-在-tidb-中的最佳实践

10

建议将两个超时时间设长一点会比较好

11

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。