使用 tiup 从 3.0.12 升级到 3.1.0 失败

使用 tiup 从 3.0.12 升级到 3.1.0 失败,报错如下

tiup-cluster-debug-2020-04-17-08-29-02.log (179.6 KB)

  1. 关于 unknow flag 的问题,是因为 tiup cluster upgrade 命令没有 --role 和 --node 选项,所以会报错

  2. 升级时遇到 prometheus 启动失败的问题,可以登陆到 prometheus 部署机器上看下

  • prometheus 进程是否存在
  • prometheus 日志中的报错信息是什么,为什么启动失败。
  • 如果日志信息没有内容,可以到 {deploy_dir}/scripts 目录下,执行 sh run_prometheus.sh 启动 prometheus ,查看启动时报什么错误

prometheus 启动报错是
cp: cannot stat ‘/data1/deploy/bin/prometheus/*.rules.yml’: No such file or directory prometheus-9090.service: main process exited, code=exited, status=1/FAILURE Unit prometheus-9090.service entered failed state.
我手动加了个空文件 /data1/deploy/bin/prometheus/tidb.rules.yml
现在能启动了
但是 tiup cluster display tidb-cluster 还是显示 3.0.12 版本

另外 升级是参考 https://pingcap.com/docs-cn/stable/how-to/upgrade/using-tiup/ 里面的文档是不是需要更新下?

麻烦执行一下 tiup cluster display 命令,看下目前集群状态

关于文档的内容我们更新一下,感谢反馈~

可以重新执行一下 tiup cluster upgrade 命令尝试升级,看是否能升级成功,之前升级失败的问题,我们根据日志再看下

重新执行 又报其他的错了

[tidb@tidb-1 scripts]$ ./run_grafana.sh 
cp: cannot stat ‘/data1/deploy/bin/*.json’: No such file or directory

我手动加了个 /data1/deploy/bin/tidb.json
现在登录 grafana 密码给重置了 dashboard 都没了

稍等,我们确认一下是否是打包缺失文件的问题

你好,因为 3.1.0 是昨天发布的,打包流程中缺失了 grafana 对应的 yaml 和 dashboard 文件,所以升级失败了,不好意思给您造成困扰了。

目前我们已经将文件重新打包上去了,麻烦重新执行下 upgrade 操作试下,如果依然有问题,麻烦再上传一下 tiup 的日志,我们看下

使用 tiup clean grafana 并不能清除下载的文件
还是手动删除的 grafana 文件,然后执行 upgrade
现在grafana 能显示了
另外问下,这个下图中 这个 test 从哪里修改?
我记得之前设置的 cluster name 是 tidb,还有的数据显示成 N/A



  1. Test-Cluster 这个目前可以暂时手动通过 Grafana 界面进行修改,后续会在 tiup 部署中进行支持

  1. 关于监控数据不显示的问题,可以尝下一下以下步骤
  • 重启 prometheus/grafana 组件看数据显示是否正常
  • 通过 prometheus 查看监控数据是否有采集到,如果 promentheus 有数据但是 Grafana 不显示,那应该是 Grafana 的问题,可以进一步排查 Grafana
1赞

过了大概一个小时吧,现在数据已经能正常显示了。
多谢 @gangshen-PingCAP 的耐心解答 。

好的,如果还有其他问题,可以新开帖子继续提问