tiup 无法关闭实例

【 TiDB 使用环境】生产环境
【 TiDB 版本】4.0.2
【复现路径】停止tidb报错
【遇到的问题:问题现象及影响】
tiup cluster stop xxx -N xxxxxx
Stopping component tidb
Stopping instance XXXXX
Failed to execute operation: Failed to activate service ‘org.freedesktop.systemd1’: timed out

Failed to execute operation: Failed to activate service ‘org.freedesktop.systemd1’: timed out

Error: failed to stop tidb: failed to stop: XXXXXX tidb-4000.service, please check the instance’s log(/home/tidb/deploy/log) for more detail.: executor.ssh.execute_failed: Failed to execute command over SSH for ‘TIDB@XXXXX’ {ssh_stderr: Failed to execute operation: Failed to activate service ‘org.freedesktop.systemd1’: timed out , ssh_stdout: , ssh_command: export LANG=C; PATH=$PATH:/bin:/sbin:/usr/bin:/usr/sbin /usr/bin/sudo -H bash -c “systemctl daemon-reload && systemctl stop tidb-4000.service”}, cause: Process exited with status 1

由于systemd服务超时,导致不可用。最终导致无法停止tidb服务。

如果不通过tiup在服务器安全关闭tidb,tikv,pd,(systemctl 不可用情况下)应该如何操作?

【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

貌似ssh互信有问题 先检查一下

确认下ssh可以过去吗,看看目标节点的tdb-4000.service状态,有没有启动呢

看看最近在服务器系统层面改什么东西了

网都不通吧。肯定管不了

1.服务器负载高,导致远程执行超时,2.服务器网络出现故障。
先登录tidb节点检查一下这个俩项

中控机看看可以ssh过去嘛

你登陆对应的机器systemctl 已经不可用了?

手工到对应服务器上看看能执行吗

是网络不通了还是账号密码没了?手动ssh试一试

这一段应该就是执行的命令吧

先验证SSH是否正常

tidb组件可以kill了

楼主的这种有问题,kill了可能也无法通过tiup再次启动及管理集群

ssh集群看看通不通

是不是太暴力一点了

应该是ssh就出现问题吧,之前ssh失败也是相似的报错

先检查互信,不行就kill。

1 个赞

从报错来看,就是tidb用户的互信或者权限出了问题,尝试在tiup机器,ssh tidb用户是否免密,登录成功后检查是否有权限执行systemctl命令

有可能当时密码都一样,后来有一台机器改了密码了,互信压根没做。

1 个赞