tidb其中一台内存突然使用为98%从哪里查看

舞动梦灵 · 2024 年4 月 3 日 02:02

刚刚9点30收到告警tidb其中1台内存使用达到98% ，我去tidb查看当前执行的会话连接，没有一个超过100s的进程，都是正常的sql运行。memm使用多的看起来全部都是commit。整体看起来没啥问题。

AN_12 · 2024 年4 月 3 日 02:03

grafana上内存指标

舞动梦灵 · 2024 年4 月 3 日 02:05

这个吗？

TiDBer_QYr0vohO · 2024 年4 月 3 日 02:05

看看dashboard慢查询呢

Kongdom · 2024 年4 月 3 日 02:05

看看dashboard的top sql呢

友利奈绪 · 2024 年4 月 3 日 02:05

慢语句?

舞动梦灵 · 2024 年4 月 3 日 02:07

慢sql看了。没有。都是正常的isnertsql 最慢的都是四五秒。和之前一样。
我看到GC 这台服务器突然暴增，会不会是执行GC导致的

舞动梦灵 · 2024 年4 月 3 日 02:12

慢sql 。topsql。看起来和之前都是一样的，没什么区别

像风一样的男子 · 2024 年4 月 3 日 02:14

你这插入数据怎么那么慢，磁盘io正常吗？？

舞动梦灵 · 2024 年4 月 3 日 02:23

好几年了，一直都是这么慢，这里面十几个库，都是大事务的。磁盘IO都是阿里云SSD

像风一样的男子 · 2024 年4 月 3 日 02:25

你这集群明显不堪重负了
阿里云的ssd是本地盘吗？ssd云盘的性能完全不行和本地盘天差地别。

DBAER · 2024 年4 月 3 日 02:28

舞动梦灵 · 2024 年4 月 3 日 02:28

都是本地盘。数据量大，40多T，30个tikv服务器。

舞动梦灵 · 2024 年4 月 3 日 02:30

没有

舞动梦灵 · 2024 年4 月 3 日 02:30

现在正在慢慢降低。暂时没找出来哪里使用特别高的slq和进程

像风一样的男子 · 2024 年4 月 3 日 02:34

看这个节点的资源都被insert占用了，几个tidb节点啊？没做负载均衡吗？

舞动梦灵 · 2024 年4 月 3 日 02:46

做了负载。3个tidb。insert有业务大量的，不过同时还有我的两个删历史数据的，删历史数据在另一个tidb节点。大概10s左右删1w条 limit1000删的。24小时不停地删除呢。

h5n1 · 2024 年4 月 3 日 02:47

下次再长可以这样抓下heap: curl -G tidb_ip:4000/debug/pprof/heap > heap.profile

像风一样的男子 · 2024 年4 月 3 日 03:08

有条件还是扩下tidb节点吧，别oom影响系统使用了

舞动梦灵 · 2024 年4 月 3 日 03:24

最近再删数据。就是想要缩容。减少支出呢。。