tidb其中一台内存突然使用为98%从哪里查看

好的下次遇到了试试。heap: curl -G 192.168.1.:4000/debug/pprof/heap > heap.profile
直接在tidb节点这样执行就行了是吗?

看看dashboard的top sql

1.查看tidb log里面是否有 expensive SQL
2.查看慢查询
3.也可以定时对processlist做个采样

慢sql 内存排个序

还是版本太低了,最新的版本循环删除数据不会占用很多内存,老版本有问题

老板不让升级。怕出问题。

  1. 没有
  2. 慢查询上面发过了。都是正常sql
    3.连续查了几次没有时间比较长的sql 基本上那都是10s内就没了

空闲了重启一下试试

看过qps tps有没有 升高

看了没有明显的增高

内存不能及时释放

9:30之前,比如9:27 左右,应该是发生了什么事情。所有机器的内存都上涨了。其中两台上涨比较明显。是业务暴增了?
另外,其他机器的内存挺闲的,不能分一部分负载到其他服务器?

感觉像业务变动导致的问题。

只有这一台暴增,然后持续了半个多小时慢慢下降了。其他的都是空闲。我也只是怀疑连接在这个服务器上的某个业务突然运行大事务了。

收下这个节点profile,dashboard直接可以收集

是不是考虑是系统的问题

短暂的半小时之后慢慢恢复,top看内存用在的进程就是tidb服务。应该不是系统问题。

可以试试通过点查删除数据

那个已经持续两三个月了。每天都在删除,没有遇到类似情况,应该不是这方面问题。

看对应日志

建议查看一下普罗米修斯的相关监控,或者系统日志,查看是否出现瓶颈。