ng-monitoring-server 内存百分之100

🌞 建议反馈 产品缺陷
1

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
ng-monitoring-server服务内存使用很高，32g内存全部用完，被系统杀死，大家有遇到过吗？

image
image617×304 19.6 KB

2

ng-mintitoring采集数据存储在tsdb中，tsdb中数据量非常大，
修改/data/tidb/tidb-deploy/prometheus-9090/conf/ngmonitoring.toml增加retention-period = “15d” 没有生效
删除tsdb目录后，重启了下ng-monitoring-server ，空间释放，内存就降下来了。

3

我也遇到过这种问题，最终操作方法也是删除 tsdb 解决的。我建议别关单，这种还是 ng-monitoring-server 的 BUG 导致的，还是需要修复的

4

看了7天监控，所有指标每天都在上涨

image
image1834×455 61.2 KB

5

是的，在节点个数多了后，这个 ng-monitor 采集的 TOP SQL 数据量就很庞大，出现过几次把监控节点内存搞满的情况了。。。

6

我给挪到BUG 反馈板块吧

7

额 好像预期的。。。。要优化。。。

8

我正在解决这个问题中，目前思路：

  1. 要么参考最常见的思路，删除 tsdb 重启进程解决【简单粗暴快捷】
  2. 参考其他帖子，对底层使用的时序数据库相关配置进行调优，个人觉得这种一看就大概率是 compaction 之类相关坑：ng-monitoring-server 的内存使用有上限吗？怎么配置呢 【优雅费时费精力】
  3. 官方 repo 已新出了一个 release ，不过是 beta 版，自己 build binary出来，替换过去，看看能不能解决： https://github.com/pingcap/ng-monitoring/releases/tag/v9.0.0-beta.1

理论上这个组件应该不会和其他组件深度组合关联，第三个方案只替换这个工具的话，应该风险不大、可控。就是看有没小白鼠出手了。