prometheus节点 docdb中日志文件清理并重启节点后，发现磁盘空间并没有释放，之前清理并重启节点后会释放，但现在不行了，不知道为啥？

🪐 TiDB 技术问题 部署&运维管理
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】tidb v6.1.0
【复现路径】做过哪些操作出现的问题
【遇到的问题：prometheus节点 docdb中日志文件清理并重启节点后，发现磁盘空间并没有释放，之前清理并重启节点后会释放，但现在不行了，不知道为啥？】
【资源配置】
【附件：截图/日志/监控】

2
  1. 检查dashboard 是否开启了 Top SQL 和持续分析功能，需要关掉
  2. 可以手动删除 docdb 中的文件信息，即可直接释放空间。
  3. 手动处理没把握，就缩容 prometheus，在重新扩一个即可。

主要参考问答：
image

3

长时间运行的事务可能导致数据无法及时回收

4

手动删除 docdb下的文件，并重新 prometheus节点后，磁盘空间并没有释放是什么情况？Top SQL 功能也未启用。

5

重启prometheus节点命令：tiup cluster restart -N 172.17.4.249:9090 这样重启的节点，重启后磁盘空间没有释放的

6

文件都删除了，空间就立即释放了啊，

空间释放和重启 prometheus无关…

7

删除文件后，每次都需要重启 prometheus节点，才回释放磁盘空间，之前这样操作还行，这几次重启也不行了，不知道啥原因的？

8

配置了多大的空间… 不行就扩一下…

9

设置保留3天的日志，已经快用了400G了

10

我也遇到docdb文件删除 ，无法立即回收，需要重启systemctl retart prometheus-9000才释放掉

11

感觉是进程占用了文件句柄，导致无法有效的释放了。

不行的话可以尝试：先停掉服务，在删除文件，在启动

例如：
systemctl stop prometheus
delete 文件数据…
systemctl start prometheus

1 个赞
12

tiup cluster reload xxr -R prometheus
tiup cluster reload xx -R grafana

13

已经解决。restart或 reload prometheus 都不太好使，直接杀掉监控节点的进程可以释放磁盘空间。

14

看样子是进程占用了。 :joy: :joy: :joy: