leojiang
(leojiang)
1
升级时使用的命令是
tiup cluster upgrade <cluster-name> v4.0.0
tidb3.0.11版本升级使用tiup升级到tidb4.0.0之后display显示是正常的,但是在重启服务的时候发现大部分服务器上都没有部署node_exporter和blackbox_exporter服务,我这边该怎么进行补偿。
如果这个无法补偿或是解决的话,关于eedit-config等一切涉及到Refresh monitor configs
的情况都无法进行,请老师给与相关的解决手段
tiup cluster reload uat-cluster -R prometheus
检查集群是正常的
leojiang
(leojiang)
3
升级前都有,在3.0.11版本的时候是正常的,在升级4.0.0的时候我选择的是使用4.0.0的默认配置,没有依用之前的配置。
升级到4.0.0后我要改一些配置发现 node_exporter和blackbox_exporter服务部分服务器上的没了,有的正常。
小王同学
4
如果 3.0.11 版本中,修改了 node_exporter 以及 blackbox_exporter 的配置,但是在 4.0 中您这边使用默认配置,有可能会找不到 node_exporter 等监控配置,建议您这边先按照 3.0.11 中配置的端口以及目录,确认下是否存在 service 文件以及部署目录。
leojiang
(leojiang)
5
有的节点有有的节点中没有
没有的服务器也没有按照4.0.0创建monitor-9100文件以及相关运行的.sh文件
leojiang
(leojiang)
6
1、是否我把以下截图中的运行脚本复制到,没有启动的node_exporter 以及 blackbox_exporter服务器上去直接运行就可以了
2、还是创建/home/tidb/deploy/monitor-9100/scripts文件夹按照4.0版本中的配置,把脚本复制到没有运行的服务器上去,运行两个服务的脚本
以上两种方式是否可行,如不可行是否还有其他的补偿方式
小王同学
7
可以从其他监控中拷贝过去,参考这个帖子的方法。TiUP扩容失败,有个node_exporter-9100.service不存在,
另外 node_exporter 本身不能通过扩容添加,但是可以给这台机器扩容一个 TiDB 再缩容掉,tiup 安装的本来就会有监控,这里想要有监控可以:在这台机器上用 tiup 扩容一个 tidb 节点,扩容的时候会加上监控,如果期望的是这台机器没有 tidb 节点,扩容完再缩容就可以了
leojiang
(leojiang)
8
扩容缩容的时候就有校验无法通过
连tiup cluster start uat-cluster 都不行到监控的校验就卡住了,无法进行下一步
小王同学
9
上面提供了两个方式,你可以按照第一个方法操作一下的。
leojiang
(leojiang)
10
前提:3.0使用tiup升级到4.0.0后没有做任何扩容缩容操作
我看了下每台node节点上都有node_exporter-9100.service
但是指定的路径都是/home/tidb/deploy/monitor-9100/scripts/run_node_exporter.sh
这个路径是4.0版本mkdir的路径。
3.0版本指定的是这个路径/home/tidb/deploy/scripts/run_node_exporter.sh
是否我这边重新指定路径到/home/tidb/deploy/scripts/run_node_exporter.sh
下就可以了
cat /etc/systemd/system/node_exporter-9100.service
cat /etc/systemd/system/blackbox_exporter-9115.service
小王同学
11
您好,是已经确认了每台存在 node_exporter 服务的对吧?那重新指定下路径试试吧。
leojiang
(leojiang)
12
我重新指定了路径还是无法启动node_exporter-9100.service,还有其他补偿机制么。
单独在没有启动的node_exporter-9100.service的节点上运行启动脚本发现缺少/home/tidb/deploy/bin/node_exporter文件,是否可以把其他节点上的拷贝过来使用
leojiang
(leojiang)
14
ok我试下,这是是我们的测试环境,做的时候小心翼翼的
leojiang
(leojiang)
15
校验过去了,就是改动量太大了,发现有好几台节点都需要改
来了老弟
16
可以在没有 node_exporter 节点扩容一个 tidb-server(无状态节点,扩容比较方便),检查 node_exporter 是否被正确安装,然后再 scale in 掉 tidb-server 看是否部署成功。
leojiang
(leojiang)
17
扩容的时候就会检查每个节点的node_exporter状态所以无法扩容
来了老弟
18
好吧,那可以批量把 node_exporter bin 文件搞一下放在 bin 目录下。辛苦测试。
leojiang
(leojiang)
19
我先测试以下blackbox_exporter是否也可以像node_exporter一样启动起来