TIKV多磁盘ssh connection reset by peer

【 TiDB 使用环境】
TIDB: 5.1.0 版本

【概述】场景+问题概述
欲做TIDB性能压测,测试场景:1节点tidb+pd,7节点tikv(每节点12块盘),部署集群时报ssh: handshake failed: read tcp 192.168.100.30:57870->192.168.100.28:22: read: connection reset by peer错误,按照官网建议,已将
vi /etc/ssh/sshd_config
MaxSessions 1000
MaxStartups 1000
参数进行调整,仍报相关错误,将tikv磁盘数降为8块,可正常部署,请问TIKV是否可支持8块以上磁盘的混合部署

相关申报错 ?麻烦发一下 log 看一下哈

tiup-cluster-debug-2021-08-02-11-40-43.log (3.3 MB)
主要错误内容为
2021-08-02T11:40:29.003+0800 ERROR SSHCommand {"host": "192.168.100.22", "port": "22", "cmd": "export LANG=C; PATH=$PATH:/usr/bin:/usr/sbin sudo -H bash -c \"test -d /data || (mkdir -p /data && chown tidb:$(id -g -n tidb) /data)\"", "error": "ssh: handshake failed: EOF", "stdout": "", "stderr": ""} 2021-08-02T11:40:29.003+0800 ERROR CheckPoint {"host": "192.168.100.22", "port": 22, "user": "tidb", "sudo": true, "cmd": "test -d /data || (mkdir -p /data && chown tidb:$(id -g -n tidb) /data)", "stdout": "", "stderr": "", "error": "executor.ssh.execute_failed: Failed to execute command over SSH for 'tidb@192.168.100.22:22' {ssh_stderr: , ssh_stdout: , ssh_command: export LANG=C; PATH=$PATH:/usr/bin:/usr/sbin sudo -H bash -c \"test -d /data || (mkdir -p /data && chown tidb:$(id -g -n tidb) /data)\"}, cause: ssh: handshake failed: EOF", "errorVerbose": "executor.ssh.execute_failed: Failed to execute command over SSH for 'tidb@192.168.100.22:22' {ssh_stderr: , ssh_stdout: , ssh_command: export LANG=C; PATH=$PATH:/usr/bin:/usr/sbin sudo -H bash -c \"test -d /data || (mkdir -p /data && chown tidb:$(id -g -n tidb) /data)\"}, cause: ssh: handshake failed: EOF\ at github.com/pingcap/tiup/pkg/cluster/executor.(*EasySSHExecutor).Execute()\ \tgithub.com/pingcap/tiup/pkg/cluster/executor/ssh.go:154\ at github.com/pingcap/tiup/pkg/cluster/executor.(*CheckPointExecutor).Execute()\ \tgithub.com/pingcap/tiup/pkg/cluster/executor/checkpoint.go:85\ at github.com/pingcap/tiup/pkg/cluster/task.(*Mkdir).Execute()\ \tgithub.com/pingcap/tiup/pkg/cluster/task/mkdir.go:61\ at github.com/pingcap/tiup/pkg/cluster/task.(*Serial).Execute()\ \tgithub.com/pingcap/tiup/pkg/cluster/task/task.go:85\ at github.com/pingcap/tiup/pkg/cluster/task.(*StepDisplay).Execute()\ \tgithub.com/pingcap/tiup/pkg/cluster/task/step.go:87\ at github.com/pingcap/tiup/pkg/cluster/task.(*Parallel).Execute.func1()\ \tgithub.com/pingcap/tiup/pkg/cluster/task/task.go:134\ at runtime.goexit()\ \truntime/asm_amd64.s:1371", "__hash__": "5f4e8abfe2ce2b3415b6a8161d8a4863d4e16ce0", "__func__": "github.com/pingcap/tiup/pkg/cluster/executor.(*CheckPointExecutor).Execute", "hit": false}
更详细的请看日志

看报错应该是 TiUP 中控机到 TIKV 节点 ssh 建立 TCP 连接握手失败了,能不能确认一下网络是否有问题。其他我们原因我们尽快分析一下。

https://segmentfault.com/a/1190000021778053

网络没有问题,同一个交换机上的两台设备,我把TIKV上的磁盘数从12块减为8块,就可以正常安装了

有一种情况,是 ssh 连接以后,检车 target host 磁盘情况超时了,我们再确认一下。

好的,多谢

HI,后续如果再单个 TiKV 节点使用多块盘,或者类似报错。可以考虑 EOF 应该是超过服务端的最大 SSH 链接数了,可以用 replay 来重试命令,或者调大 sshd_config 里面的 MaxSessions。

已经按照官网的建议将这两个参数调整了

应该还是需要继续调大,可以 debug 看一下,session 并发是否真的生效了

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。