tidb3.0.11使用tiup升级到4.0.0出关于node_exporter不自动部署相关问题

升级时使用的命令是

tiup cluster upgrade <cluster-name> v4.0.0

tidb3.0.11版本升级使用tiup升级到tidb4.0.0之后display显示是正常的,但是在重启服务的时候发现大部分服务器上都没有部署node_exporter和blackbox_exporter服务,我这边该怎么进行补偿。

如果这个无法补偿或是解决的话,关于eedit-config等一切涉及到Refresh monitor configs
的情况都无法进行,请老师给与相关的解决手段

tiup cluster reload uat-cluster -R prometheus

检查集群是正常的

这些是升级前就没有部署吗?

升级前都有,在3.0.11版本的时候是正常的,在升级4.0.0的时候我选择的是使用4.0.0的默认配置,没有依用之前的配置。
升级到4.0.0后我要改一些配置发现 node_exporter和blackbox_exporter服务部分服务器上的没了,有的正常。

如果 3.0.11 版本中,修改了 node_exporter 以及 blackbox_exporter 的配置,但是在 4.0 中您这边使用默认配置,有可能会找不到 node_exporter 等监控配置,建议您这边先按照 3.0.11 中配置的端口以及目录,确认下是否存在 service 文件以及部署目录。

有的节点有有的节点中没有



没有的服务器也没有按照4.0.0创建monitor-9100文件以及相关运行的.sh文件

1、是否我把以下截图中的运行脚本复制到,没有启动的node_exporter 以及 blackbox_exporter服务器上去直接运行就可以了

2、还是创建/home/tidb/deploy/monitor-9100/scripts文件夹按照4.0版本中的配置,把脚本复制到没有运行的服务器上去,运行两个服务的脚本
image

以上两种方式是否可行,如不可行是否还有其他的补偿方式

可以从其他监控中拷贝过去,参考这个帖子的方法。TiUP扩容失败,有个node_exporter-9100.service不存在,
另外 node_exporter 本身不能通过扩容添加,但是可以给这台机器扩容一个 TiDB 再缩容掉,tiup 安装的本来就会有监控,这里想要有监控可以:在这台机器上用 tiup 扩容一个 tidb 节点,扩容的时候会加上监控,如果期望的是这台机器没有 tidb 节点,扩容完再缩容就可以了

扩容缩容的时候就有校验无法通过

连tiup cluster start uat-cluster 都不行到监控的校验就卡住了,无法进行下一步

上面提供了两个方式,你可以按照第一个方法操作一下的。

前提:3.0使用tiup升级到4.0.0后没有做任何扩容缩容操作

我看了下每台node节点上都有node_exporter-9100.service
但是指定的路径都是/home/tidb/deploy/monitor-9100/scripts/run_node_exporter.sh这个路径是4.0版本mkdir的路径。
3.0版本指定的是这个路径/home/tidb/deploy/scripts/run_node_exporter.sh

是否我这边重新指定路径到/home/tidb/deploy/scripts/run_node_exporter.sh下就可以了

cat /etc/systemd/system/node_exporter-9100.service
cat /etc/systemd/system/blackbox_exporter-9115.service

您好,是已经确认了每台存在 node_exporter 服务的对吧?那重新指定下路径试试吧。

我重新指定了路径还是无法启动node_exporter-9100.service,还有其他补偿机制么。


单独在没有启动的node_exporter-9100.service的节点上运行启动脚本发现缺少/home/tidb/deploy/bin/node_exporter文件,是否可以把其他节点上的拷贝过来使用

可以 scp 过来试下。

ok我试下,这是是我们的测试环境,做的时候小心翼翼的:joy:

:joy:校验过去了,就是改动量太大了,发现有好几台节点都需要改

可以在没有 node_exporter 节点扩容一个 tidb-server(无状态节点,扩容比较方便),检查 node_exporter 是否被正确安装,然后再 scale in 掉 tidb-server 看是否部署成功。

扩容的时候就会检查每个节点的node_exporter状态所以无法扩容

好吧,那可以批量把 node_exporter bin 文件搞一下放在 bin 目录下。辛苦测试。

我先测试以下blackbox_exporter是否也可以像node_exporter一样启动起来:grinning:

666。