TIKV reload失败问题

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:V4.0.4
  • 【问题描述】:想reload tikv的时候,报错了,如下,还请帮忙看下是什么原因,谢谢

Error: init config failed: 10.72.89.111:20160: transfer from /home/hdbuser/.tiup/storage/cluster/clusters/tidb-bigdata/config-cache/tikv-10.72.89.111-20160.service to /tmp/tikv_ab8daadf-9952-4226-b128-80bc0d00c048.service failed: Process exited with status 1

Verbose debug logs has been written to /home/hdbuser/logs/tiup-cluster-debug-2020-10-14-23-33-08.log.
Error: run /home/hdbuser/.tiup/components/cluster/v1.0.7/tiup-cluster (wd:/home/hdbuser/.tiup/data/SDPFdVf) failed: exit status 1

reload 是因为修改了配置所以 reload 么,可以看下修改了什么配置
另外可以上传一下 /home/hdbuser/logs/tiup-cluster-debug-2020-10-14-23-33-08.log 日志看下

本来是想在tikv上把参数修改为:raftstore.sync-log: false,然后发现reload不了,之后又在edit模式下把这个参数去掉了,保持默认的true,但是一样没办法reload

tikv:
raftstore.sync-log: false

tiup-cluster-debug-2020-10-14-23-33-08.log (166.9 KB)

tiup cluster edit-config 的内容方便截图发一下么,可能是配置格式的问题

现在的格式已经回退成修改前的了,但是一样无法reload
image

reload的命令
tiup cluster reload tidb-bigdata -R tikv

可以检查一下中控机以及目标机器的磁盘空间使用情况,看日志是在发送 services 文件的时候失败了

transfer from /home/hdbuser/.tiup/storage/cluster/clusters/tidb-bigdata/config-cache/tikv-10.72.89.111-20160.service to /tmp/tikv_ab8daadf-9952-4226-b128-80bc0d00c048.service

确认一下网络 ok,剩余磁盘空间 ok,inode 使用情况 ok

1赞

昨天从中控机登录了其中2台主机,都是可以登录的,说明网络应该没问题,磁盘即inode现在看也没有问题

image

部署机器和中控机的情况都是检查过的么

中控机也没啥问题
image

那在中控机上手动执行

scp /home/hdbuser/.tiup/storage/cluster/clusters/tidb-bigdata/config-cache/tikv-10.71.80.148-20160.service tidb@10.71.80.148:/tmp/tikv_ab8daadf-9952-4226-b128-80bc0d00c048.service

可以成功么

看起来是密码过期导致的?

你们机器设置了密码过期策略么?可以参考链接看下密码失效时间,并且尝试下修改密码过期时间看能否解决这个问题

是的,设置了90天就需要修改密码了,否则都不让登录。我们是不能去修改密码过期策略的,只能先把所有主机都修改下密码再reload了

修改密码之后可以正常 reload 了吗?

生产环境,晚上再验证,明天再回复哈

昨天的问题应该是好了,昨晚reload的时候,来了新的问题,为啥reload还要去下载个json文件?
PS:之前中控机是可以连外网的,现在已经被安全隔离了。

Error: init config failed: 10.71.xxx:4000: fetch /timestamp.json from mirror(https://tiup-mirrors.pingcap.com) failed: download from https://tiup-mirrors.pingcap.com/timestamp.json failed: Get https://tiup-mirrors.pingcap.com/timestamp.json: dial tcp 113.113.67.41:443: connect: connection timed out

Verbose debug logs has been written to /home/hdbuser/logs/tiup-cluster-debug-2020-10-15-23-04-24.log.
Error: run /home/hdbuser/.tiup/components/cluster/v1.0.7/tiup-cluster (wd:/home/hdbuser/.tiup/data/SDUyOaL) failed: exit status 1

如果是需要离线使用的话,建议使用离线镜像

所谓的私有镜像,是不是这些东西
编辑1 (4.8 KB)

嗯,私有镜像就是离线镜像包
如果已经下载了离线镜像包的话,可以按照文档设置一下离线镜像包环境