使用 tiup 从 3.0.12 升级到 3.1.0 失败

[Tao]

使用 tiup 从 3.0.12 升级到 3.1.0 失败，报错如下

tiup-cluster-debug-2020-04-17-08-29-02.log (179.6 KB)

[GangShen]

1. 关于 unknow flag 的问题，是因为 tiup cluster upgrade 命令没有 --role 和 --node 选项，所以会报错
   

   

2. 升级时遇到 prometheus 启动失败的问题，可以登陆到 prometheus 部署机器上看下

• prometheus 进程是否存在
• prometheus 日志中的报错信息是什么，为什么启动失败。
• 如果日志信息没有内容，可以到 {deploy_dir}/scripts 目录下，执行 sh run_prometheus.sh 启动 prometheus ，查看启动时报什么错误

[Tao]

prometheus 启动报错是
cp: cannot stat ‘/data1/deploy/bin/prometheus/*.rules.yml’: No such file or directory prometheus-9090.service: main process exited, code=exited, status=1/FAILURE Unit prometheus-9090.service entered failed state.
我手动加了个空文件 /data1/deploy/bin/prometheus/tidb.rules.yml
现在能启动了
但是 tiup cluster display tidb-cluster 还是显示 3.0.12 版本

另外 升级是参考 https://pingcap.com/docs-cn/stable/how-to/upgrade/using-tiup/ 里面的文档是不是需要更新下？

[GangShen]

麻烦执行一下 tiup cluster display 命令，看下目前集群状态

关于文档的内容我们更新一下，感谢反馈~

[Tao]

[GangShen]

可以重新执行一下 tiup cluster upgrade 命令尝试升级，看是否能升级成功，之前升级失败的问题，我们根据日志再看下

[Tao]

重新执行 又报其他的错了

[tidb@tidb-1 scripts]$ ./run_grafana.sh 
cp: cannot stat ‘/data1/deploy/bin/*.json’: No such file or directory

我手动加了个 /data1/deploy/bin/tidb.json
现在登录 grafana 密码给重置了 dashboard 都没了

[GangShen]

稍等，我们确认一下是否是打包缺失文件的问题

[GangShen]

你好，因为 3.1.0 是昨天发布的，打包流程中缺失了 grafana 对应的 yaml 和 dashboard 文件，所以升级失败了，不好意思给您造成困扰了。

目前我们已经将文件重新打包上去了，麻烦重新执行下 upgrade 操作试下，如果依然有问题，麻烦再上传一下 tiup 的日志，我们看下

[Tao]

使用 tiup clean grafana 并不能清除下载的文件
还是手动删除的 grafana 文件，然后执行 upgrade
现在grafana 能显示了
另外问下，这个下图中 这个 test 从哪里修改？
我记得之前设置的 cluster name 是 tidb，还有的数据显示成 N/A

[GangShen]

1. Test-Cluster 这个目前可以暂时手动通过 Grafana 界面进行修改，后续会在 tiup 部署中进行支持

2. 关于监控数据不显示的问题，可以尝下一下以下步骤

• 重启 prometheus/grafana 组件看数据显示是否正常
• 通过 prometheus 查看监控数据是否有采集到，如果 promentheus 有数据但是 Grafana 不显示，那应该是 Grafana 的问题，可以进一步排查 Grafana

[Tao]

过了大概一个小时吧，现在数据已经能正常显示了。
多谢 @gangshen-PingCAP 的耐心解答 。

[GangShen]

好的，如果还有其他问题，可以新开帖子继续提问