三台tikv，其中一台内存昨天突然预警，目前内存占用还没有下去

zhengyunpeng · 2020 年5 月 21 日 02:15

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

【TiDB 版本】：3.0.12
【问题描述】：

三台tikv，其中一台内存昨天突然预警，目前内存占用还没有下去.
目前分析应该是20：00点左右qps增高导致，但是怎么让现在空闲期怎么内存使用降下去

yilong · 2020 年5 月 21 日 02:33

看下你的 tikv 配置文件中 block cache 配置的值，是115 这个服务器吧，看起来就是 block cache 占用的
这个服务器总的内存是多少？ 3.这个服务器是单tikv 吗，还有其他实例吗？执行 top 反馈下结果
哪里预警了？超过多少阈值告警？

zhengyunpeng · 2020 年5 月 21 日 02:41

1.默认安装时候的block cache，没有修改过

2.服务器总内存8.0，可用内存7.6
单例的tikv，不过机器上安装了其他服务（tikv、kafka、zookeeper、pump）
目前除了tikv占用4.3还有kafka占用1.3，其他的没有大的任务了

3.预警监控内存剩余量，少于300M预警

注：之前也有过大量数据的写入，但是没有出现过这种内存一直占用很高的情况

yilong · 2020 年5 月 21 日 04:07

麻烦反馈下 over-view ，tidb ，tikv 的监控
麻烦反馈tikv.log 和 tidb.log ，多谢

zhengyunpeng · 2020 年5 月 21 日 04:15

over-view ，tidb ，tikv 的监控是指什么？

tikv.log (503.3 KB) tidb.log (1.8 MB)

yilong · 2020 年5 月 21 日 06:17

指的是 grafana 的监控，看一下你配置的ip 和端口

(1)、chrome 安装这个插件https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl

(2)、鼠标焦点置于 Dashboard 上，按 ?可显示所有快捷键，先按 d 再按 E 可将所有 Rows 的 Panels 打开，需等待一段时间待页面加载完成。

(3)、使用这个 full-page-screen-capture 插件进行截屏保存

反馈信息

select VARIABLE_NAME, VARIABLE_VALUE from mysql.tidb;

zhengyunpeng · 2020 年5 月 21 日 06:19

MySQL [(none)]> select VARIABLE_NAME, VARIABLE_VALUE from mysql.tidb;
+--------------------------+--------------------------------------------------------------------------------------+
| VARIABLE_NAME            | VARIABLE_VALUE                                                                       |
+--------------------------+--------------------------------------------------------------------------------------+
| bootstrapped             | True                                                                                 |
| tidb_server_version      | 35                                                                                   |
| system_tz                | Asia/Shanghai                                                                        |
| tikv_gc_leader_uuid      | 5bf0b79c6500009                                                                      |
| tikv_gc_leader_desc      | host:tidb, pid:4193, start at 2020-01-20 20:12:35.622800493 +0800 CST m=+5.228438341 |
| tikv_gc_leader_lease     | 20200521-14:20:35 +0800                                                              |
| tikv_gc_enable           | true                                                                                 |
| tikv_gc_run_interval     | 10m0s                                                                                |
| tikv_gc_life_time        | 10m0s                                                                                |
| tikv_gc_last_run_time    | 20200521-14:16:35 +0800                                                              |
| tikv_gc_safe_point       | 20200521-14:06:35 +0800                                                              |
| tikv_gc_auto_concurrency | true                                                                                 |
| tikv_gc_mode             | distributed                                                                          |
+--------------------------+--------------------------------------------------------------------------------------+
13 rows in set (0.00 sec)

MySQL [(none)]>