tiup cluster check报错cause: ssh: handshake failed: read tcp : read: connection reset by peer

🪐 TiDB 技术问题 部署&运维管理
, ,
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】7.5.0
【复现路径】通过tiup 扩容节点，执行扩容前检查

tiup cluster check tidb-c1 ./scalout.yaml --cluster --user dba -p -i /home/dba/.ssh/id_rsa

【遇到的问题：问题现象及影响】
执行tiup cluster check的时候报错：

Error: stderr: : executor.ssh.execute_failed: Failed to execute command over SSH for 'dba@10.1.4.44:22' {ssh_stderr: , ssh_stdout: , ssh_command: export LANG=C; PATH=$PATH:/bin:/sbin:/usr/bin:/usr/sbin; /usr/bin/sudo -H bash -c "tar --no-same-owner -zxf /tmp/tiup/bin/insight-v0.4.2-linux-amd64.tar.gz -C /tmp/tiup/bin && rm /tmp/tiup/bin/insight-v0.4.2-linux-amd64.tar.gz"}, cause: ssh: handshake failed: read tcp 10.1.4.30:12180->10.1.5.44:22: read: connection reset by peer

看了多个相关问题帖子，都是关于调整参数，如：TiUP FAQ，TIKV多磁盘ssh connection reset by peer
我已将所有节点/etc/ssh/sshd_config中参数调整为：

MaxSessions 10000
MaxStartups 10000

但一样报错

【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面

image
image800×235 25.7 KB

【附件：截图/日志/监控】
tiup-cluster-debug-2024-06-20-18-00-44.log (39.3 KB)

2

中间有防火墙吗？ 手动 ssh 是通的吗？

3

我也遇到这种情况了，目前中控机和目标服务器之间可以免密登录

image
image1622×431 9.07 KB

4

服务器是不是重启过呢？ 所以visudo那个配置失效了吧【tidb ALL=(ALL) NOPASSWD: ALL】

5

服务端负载高不，防火墙安全组放行没。手动执行ssh -vvv root@host 详细调试试试看

6

应该是开启防火墙，导致访问不通吧。
https://docs.pingcap.com/zh/tidb/stable/hardware-and-software-requirements#网络要求

另外57566是什么端口？

7

目标节点是一台新服务器，没有什么其他自己的服务，目前负载不高 执行ssh -vvv试过，没发现什么报错信息，手工直接执行ssh可以正常登陆并执行相关的命令

8

服务器没有重启过，visudo 那个配置配的是tidb，这里报的是root用户的呢》？

9

中控机和目标机的防火墙都是关闭状态，这里的57566端口不是唯一的，执行一次check，这个端口都会变

10

关键是免密登录么？要不要输入密码？ 中控机到集群各个服务器都要免密登录，包括本机。

11

image
image1623×452 12.2 KB

在中控机中我使用的是-p 命令输入的目标机密码登录的，中控机hcicloud用户和目标机root用户之间也需要做免密么？
tiup-cluster-debug-2024-12-24-09-11-39.log (96.4 KB)

12

做免密了，就不需要 – user -p了，去掉之后再试试。

13

image
image1635×446 12.3 KB

去掉-p使用免密登录，也还是报这个错误，这个是ssh的问题么？
tiup-cluster-debug-2024-12-24-09-32-43.log (97.9 KB)

14

不好意思，刚才没注意到这一句，这个不是免密登录。手工免密登录可以参考这里。
https://docs.pingcap.com/zh/tidb/stable/check-before-deployment#手动配置-ssh-互信及-sudo-免密码

16

目前整体上的情况是，1、中控机我使用的是hcicloud用户扩容，目标机指定使用root用户进行操作，已经配置了中控机与目标机之前的免密，手工在中控机执行ssh root@192.168.1.160可以正常登陆，执行 sysctl -a,但是在执行tiup cluster check命令的时候，提示tcp报错； 2、在中控机和目标机的sshd_config文件中修改了maxsessions 1000，maxstartup 1000，重启了sshd服务， service restart sshd 但是还是报这个错误； 3、尝试测试了通过中控机扩容到其他的服务器 192.168.1.55,整个流程都正常，并且扩容成功； 4、接下来还是需要按照ssh的排查方向来进行吗？有没有其他的场景导致这种问题？我使用的是联通云服务器，每台服务器上的防火墙都关闭了，还有其他的可能性么？

17

我记得云服务器的防火墙在 控制台 应该也有设置的，不止服务器里面。

18

我有一个点不是太明白，中控机使用ssh 可以正常登陆，但是tiup就会报异常，这种情况，是不是可以排除防火墙的配置问题

19

:thinking:哦，对，这么看你说的是对的。看看其他人还有没有办法吧。

20

好的，谢谢您的帮忙

1 个赞