配置Haproxy透传参数send-proxy后，tidb日志一直报write: connection reset by peer

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
vim haproxy.cfg
添加send-proxy 参数，重新启动HAproxy
192.168.1.217：tidb节点
192.168.1.214：haproxy节点

server tidb-192.168.1.217:4000 192.168.1.217:4000 send-proxy check inter 2000 rise 2 fall 3 # 检测 4000 端口，检测频率为每 2000 毫秒一次。如果 2 次检测为成功，则认为服务器可用；如果 3 次检测为失败，则认为服务器不可用。

【遇到的问题：问题现象及影响】
tidb.log一直刷如下日志：


[2023/06/12 09:17:04.062 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636319] [error="write tcp 192.168.1.217:4000->192.168.1.214:39392: write: connection reset by peer"] ["remote addr"=192.168.1.214:39392]
[2023/06/12 09:17:06.063 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636321] [error="write tcp 192.168.1.217:4000->192.168.1.214:39416: write: connection reset by peer"] ["remote addr"=192.168.1.214:39416]
[2023/06/12 09:17:08.064 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636323] [error="write tcp 192.168.1.217:4000->192.168.1.214:39438: write: connection reset by peer"] ["remote addr"=192.168.1.214:39438]
[2023/06/12 09:17:10.065 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636325] [error="write tcp 192.168.1.217:4000->192.168.1.214:39462: write: connection reset by peer"] ["remote addr"=192.168.1.214:39462]
[2023/06/12 09:17:12.068 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636327] [error="write tcp 192.168.1.217:4000->192.168.1.214:39484: write: connection reset by peer"] ["remote addr"=192.168.1.214:39484]
[2023/06/12 09:17:14.069 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636329] [error="write tcp 192.168.1.217:4000->192.168.1.214:39510: write: connection reset by peer"] ["remote addr"=192.168.1.214:39510]
[2023/06/12 09:17:16.071 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636331] [error="write tcp 192.168.1.217:4000->192.168.1.214:39530: write: connection reset by peer"] ["remote addr"=192.168.1.214:39530]
[2023/06/12 09:17:18.078 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636333] [error="write tcp 192.168.1.217:4000->192.168.1.214:39556: write: connection reset by peer"] ["remote addr"=192.168.1.214:39556]
[2023/06/12 09:17:20.076 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636335] [error="write tcp 192.168.1.217:4000->192.168.1.214:39576: write: connection reset by peer"] ["remote addr"=192.168.1.214:39576]
[2023/06/12 09:17:22.077 +08:00] [WARN] [server.go:644] ["Server.onConn handshake"] [conn=3413847264802636337] [error="write tcp 192.168.1.217:4000->192.168.1.214:39602: write: connection reset by peer"] ["remote addr"=192.168.1.214:39602]
2

不影响使用
可以改端口
参考这个 [FAQ] connection reset by peer - :milky_way: 运维指南 / TiDB 常见 FAQ - TiDB 的问答社区 (asktug.com)

3

image
image1375×142 11.7 KB

4

image
image1438×1002 127 KB

在tidb集群上是否配置此参数

5

这个是需要的，不然怎么透传~

6

没啥影响可以先不用管

7

改成10080后不报错了，但是用VIP链接会报错：
ERROR 2013 (HY000): Lost connection to MySQL server at ‘reading initial communication packet’, system error: 0

8

可以用，但是日志刷的太频繁拉。

9

:joy:我也是这个问题

10

vip配的是不是有问题，
这个只是把默认的状态检测端口从4000改成了tidb的 stats端口10080，应该不会影响
原来vip要是能连，改这个端口应该还是能连的

11

改成4000，用VIP就可以正常连，改成10080，tidb不报错了，但是VIP连接报错，直连没问题。
ERROR 2013 (HY000): Lost connection to MySQL server at ‘reading initial communication packet’, system error: 0

proxy-protocol.networks:配置了HAproxy的IP。

12

haproxy版本：

haproxy -v
HAProxy version 2.6.2-16a3646 2022/07/22 - https://haproxy.org/
Status: long-term supported branch - will stop receiving fixes around Q2 2027.
Known bugs: http://www.haproxy.org/bugs/bugs-2.6.2.html
Running on: Linux 3.10.0-1160.88.1.el7.x86_64 #1 SMP Tue Mar 7 15:41:52 UTC 2023 x86_64

haproxy.cfg内容如下：

[tidb@centos-g haproxy]$ cat haproxy.cfg
global                                     # 全局配置。
   log         127.0.0.1 local2            # 定义全局的 syslog 服务器，最多可以定义两个。
   chroot      /opt/haproxy/var/lib/haproxy            # 更改当前目录并为启动进程设置超级用户权限，从而提高安全性。
   pidfile     /opt/haproxy/var/run/haproxy.pid        # 将 HAProxy 进程的 PID 写入 pidfile。
   maxconn     4096                        # 单个 HAProxy 进程可接受的最大并发连接数，等价于命令行参数 "-n"。
   nbthread    48                          # 最大线程数。线程数的上限与 CPU 数量相同。
   user        tidb                     # 同 UID 参数。
   group       tidb                     # 同 GID 参数，建议使用专用用户组。
   daemon                                  # 让 HAProxy 以守护进程的方式工作于后台，等同于命令行参数“-D”的功能。当然，也可以在命令行中用“-db”参数将其禁用。
   stats socket /opt/haproxy/var/lib/haproxy/stats     # 统计信息保存位置。

defaults                                   # 默认配置。
   log global                              # 日志继承全局配置段的设置。
   retries 2                               # 向上游服务器尝试连接的最大次数，超过此值便认为后端服务器不可用。
   timeout connect  2s                     # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内，可设置成较短的时间。
   timeout client 30000s                   # 客户端与 HAProxy 连接后，数据传输完毕，即非活动连接的超时时间。
   timeout server 30000s                   # 服务器端非活动连接的超时时间。

listen admin_stats                         # frontend 和 backend 的组合体，此监控组的名称可按需进行自定义。
   bind 0.0.0.0:8080                       # 监听端口。
   mode http                               # 监控运行的模式，此处为 `http` 模式。
   option httplog                          # 开始启用记录 HTTP 请求的日志功能。
   maxconn 10                              # 最大并发连接数。
   stats refresh 30s                       # 每隔 30 秒自动刷新监控页面。
   stats uri /haproxy                      # 监控页面的 URL。
   stats realm HAProxy                     # 监控页面的提示信息。
   stats auth admin:Pin            # 监控页面的用户和密码，可设置多个用户名。
   stats hide-version                      # 隐藏监控页面上的 HAProxy 版本信息。
   stats  admin if TRUE                    # 手工启用或禁用后端服务器（HAProxy 1.4.9 及之后版本开始支持）。

listen tidb-cluster                        # 配置 database 负载均衡。
   bind 192.168.1.238:4000                       # 浮动 IP 和 监听端口。
   mode tcp                                # HAProxy 要使用第 4 层的传输层。
   balance leastconn                       # 连接数最少的服务器优先接收连接。`leastconn` 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的，对于启动慢的服务器，服务器权重会在运行中作调整。
   server tidb-192.168.1.217:4000 192.168.1.217:10080 send-proxy check inter 2000 rise 2 fall 3       # 检测 4000 端口，检测频率为每 2000 毫秒一次。如果 2 次检测为成功，则认为服务器可用；如果 3 次检测为失败，则认为服务器不可用。
   server tidb-192.168.1.237:4000 192.168.1.237:10080 send-proxy check inter 2000 rise 2 fall 3

proxy-protocol.networks：

image
image872×130 41.8 KB

13

你配的有问题

试试我的例子 （不过我没有用vip）

image
image1099×159 24.9 KB

2 个赞
14

端口应该还是4000
只把check port 改成TIDB的 status 的端口（默认是 10080）

15

非常感谢。默认没有check port，加个check port 10080 就好了。

server tidb-192.168.1.217:4000 192.168.1.237:4000 check port 10080 send-proxy inter 2000 rise 2 fall 3

16

厉害，我也试试

17

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。