TIKV reload失败问题

lmy012 · 2020 年10 月 15 日 00:36

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

【TiDB 版本】：V4.0.4
【问题描述】：想reload tikv的时候，报错了，如下，还请帮忙看下是什么原因，谢谢

Error: init config failed: 10.72.89.111:20160: transfer from /home/hdbuser/.tiup/storage/cluster/clusters/tidb-bigdata/config-cache/tikv-10.72.89.111-20160.service to /tmp/tikv_ab8daadf-9952-4226-b128-80bc0d00c048.service failed: Process exited with status 1

Verbose debug logs has been written to /home/hdbuser/logs/tiup-cluster-debug-2020-10-14-23-33-08.log.
Error: run /home/hdbuser/.tiup/components/cluster/v1.0.7/tiup-cluster (wd:/home/hdbuser/.tiup/data/SDPFdVf) failed: exit status 1

GangShen · 2020 年10 月 15 日 02:02

reload 是因为修改了配置所以 reload 么，可以看下修改了什么配置
另外可以上传一下 /home/hdbuser/logs/tiup-cluster-debug-2020-10-14-23-33-08.log 日志看下

lmy012 · 2020 年10 月 15 日 02:07

本来是想在tikv上把参数修改为：raftstore.sync-log: false，然后发现reload不了，之后又在edit模式下把这个参数去掉了，保持默认的true，但是一样没办法reload

tikv:
raftstore.sync-log: false

tiup-cluster-debug-2020-10-14-23-33-08.log (166.9 KB)

GangShen · 2020 年10 月 15 日 02:09

tiup cluster edit-config 的内容方便截图发一下么，可能是配置格式的问题

lmy012 · 2020 年10 月 15 日 02:11

现在的格式已经回退成修改前的了，但是一样无法reload

lmy012 · 2020 年10 月 15 日 02:11

reload的命令
tiup cluster reload tidb-bigdata -R tikv

GangShen · 2020 年10 月 15 日 02:15

可以检查一下中控机以及目标机器的磁盘空间使用情况，看日志是在发送 services 文件的时候失败了

transfer from /home/hdbuser/.tiup/storage/cluster/clusters/tidb-bigdata/config-cache/tikv-10.72.89.111-20160.service to /tmp/tikv_ab8daadf-9952-4226-b128-80bc0d00c048.service

确认一下网络 ok，剩余磁盘空间 ok，inode 使用情况 ok

lmy012 · 2020 年10 月 15 日 02:20

昨天从中控机登录了其中2台主机，都是可以登录的，说明网络应该没问题，磁盘即inode现在看也没有问题

GangShen · 2020 年10 月 15 日 02:23

部署机器和中控机的情况都是检查过的么

lmy012 · 2020 年10 月 15 日 02:24

中控机也没啥问题

GangShen · 2020 年10 月 15 日 02:34

那在中控机上手动执行

scp /home/hdbuser/.tiup/storage/cluster/clusters/tidb-bigdata/config-cache/tikv-10.71.80.148-20160.service tidb@10.71.80.148:/tmp/tikv_ab8daadf-9952-4226-b128-80bc0d00c048.service

可以成功么

lmy012 · 2020 年10 月 15 日 02:36

看起来是密码过期导致的?

GangShen · 2020 年10 月 15 日 02:43

你们机器设置了密码过期策略么?可以参考链接看下密码失效时间，并且尝试下修改密码过期时间看能否解决这个问题

lmy012 · 2020 年10 月 15 日 02:50

是的，设置了90天就需要修改密码了，否则都不让登录。我们是不能去修改密码过期策略的，只能先把所有主机都修改下密码再reload了

GangShen · 2020 年10 月 15 日 07:30

修改密码之后可以正常 reload 了吗？

lmy012 · 2020 年10 月 15 日 07:58

生产环境，晚上再验证，明天再回复哈

lmy012 · 2020 年10 月 16 日 00:22

昨天的问题应该是好了，昨晚reload的时候，来了新的问题，为啥reload还要去下载个json文件？
PS：之前中控机是可以连外网的，现在已经被安全隔离了。

Error: init config failed: 10.71.xxx:4000: fetch /timestamp.json from mirror(https://tiup-mirrors.pingcap.com) failed: download from https://tiup-mirrors.pingcap.com/timestamp.json failed: Get https://tiup-mirrors.pingcap.com/timestamp.json: dial tcp 113.113.67.41:443: connect: connection timed out

Verbose debug logs has been written to /home/hdbuser/logs/tiup-cluster-debug-2020-10-15-23-04-24.log.
Error: run /home/hdbuser/.tiup/components/cluster/v1.0.7/tiup-cluster (wd:/home/hdbuser/.tiup/data/SDUyOaL) failed: exit status 1

GangShen · 2020 年10 月 16 日 03:13

如果是需要离线使用的话，建议使用离线镜像

https://docs.pingcap.com/zh/tidb/stable/tiup-mirror#使用-tiup-离线安装-tidb-集群

lmy012 · 2020 年10 月 16 日 03:52

所谓的私有镜像，是不是这些东西
编辑1 (4.8 KB)

GangShen · 2020 年10 月 16 日 05:39

嗯，私有镜像就是离线镜像包
如果已经下载了离线镜像包的话，可以按照文档设置一下离线镜像包环境
https://docs.pingcap.com/zh/tidb/stable/production-offline-deployment-using-tiup#方式二使用-tiup-mirror-clone-命令手动打包离线组件包