promethous没起来,一直activating状态

【TiDB 版本】
v4.0.11
【问题描述】
这两天中控机宕机了,重启之后看集群状态发现promethous服务一直activating状态,看了一下日志有报错如下:
err=“opening storage failed: block dir: "/xdfapp/tidb/tidb-data/prometheus-8090/01F44RPRFZDZ758H1CDJXA2A6Q": unexpected end of JSON input”

集群状态


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1 个赞

看起来应该是掉电导致了 prometheus 的 header block 损坏了。
尝试搜索一下 prometheus 坏块恢复吧。
https://github.com/prometheus/prometheus/issues/4297

tiup 可以缩容和扩容promethous的,重新部署就好

OK,我试试

好的,我都试试修复看看

麻烦修复后反馈下恢复步骤,多谢。

同事重新建了一个集群,下次复现再按照上面的去修复

:+1: 感谢

我有个相同的问题大佬们帮忙看下。

部署平台是ARM,采用离线包部署,版本是5.0.0

PD、TiDB、监控部署在一台机器上,不管是创建集群还是重启集群,Prometheus都是activating状态,有没有啥办法

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。