prometheus 节点内存出现暴涨,导致发生omm

处理prometheus的过期历史日志可以有下面的方式,建议先在测试环境验证正常再在生产环境执行。

1.临时解决方案:可以参考这个帖子试试看:prometheus的监控数据可以删除么?

删除某个时间段所有数据
curl -X POST -g ‘http://127.0.0.1:9090/api/v1/admin/tsdb/delete_series?match[]= {name =~“.+”}&start=2022-03-29T00:00:00Z&end=2022-03-30T00:00:00Z’

2.长久解决方案:
推荐:使用tiup cluster edit-config 更改prometheus 的storage_retention 的配置设置日志保留时长,然后tiup reload prometheus

(还有个不推荐但可以生效的方式:修改prometheus启动脚本中的-storage.tsdb.retention参数值,然后tiup reload prometheus )