promethous没起来,一直activating状态

【TiDB 版本】
v4.0.11
【问题描述】
这两天中控机宕机了,重启之后看集群状态发现promethous服务一直activating状态,看了一下日志有报错如下:
err=“opening storage failed: block dir: “/xdfapp/tidb/tidb-data/prometheus-8090/01F44RPRFZDZ758H1CDJXA2A6Q”: unexpected end of JSON input”

集群状态


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

看起来应该是掉电导致了 prometheus 的 header block 损坏了。
尝试搜索一下 prometheus 坏块恢复吧。

tiup 可以缩容和扩容promethous的,重新部署就好

OK,我试试

好的,我都试试修复看看

麻烦修复后反馈下恢复步骤,多谢。

同事重新建了一个集群,下次复现再按照上面的去修复

:+1: 感谢