tikv内存使用骤降

【TiDB 版本】 v4.0.6

【问题描述】

3个tikv节点内存使用瞬间从110G,降低到20G左右。 但是业务未受到任何影响。通过排查tikv日志也没有相关ERROR信息。

  1. 请问这个要怎么排查。
  2. 有什么办法在不重启tikv的情况下把内存使用提升上去

节点可用内存为:256G

tikv节点内存使用

配置参数

server_configs:
tidb:
binlog.enable: true
tikv:
coprocessor.region-max-size: 384MB
coprocessor.region-split-size: 256MB
gRPC.grpc-concurrency: 8
log-level: info
raftdb.max-background-jobs: 8
raftstore.apply-pool-size: 8
raftstore.hibernate-regions: true
raftstore.raft-max-inflight-msgs: 20480
raftstore.region-split-check-diff: 32MB
raftstore.store-pool-size: 8
raftstore.sync-log: false
readpool.unified.max-thread-count: 32
rocksdb.bytes-per-sync: 512MB
rocksdb.compaction-readahead-size: 2MB
rocksdb.defaultcf.level0-slowdown-writes-trigger: 32
rocksdb.defaultcf.level0-stop-writes-trigger: 64
rocksdb.defaultcf.max-write-buffer-number: 24
rocksdb.defaultcf.write-buffer-size: 256MB
rocksdb.lockcf.level0-slowdown-writes-trigger: 32
rocksdb.lockcf.level0-stop-writes-trigger: 64
rocksdb.max-background-jobs: 16
rocksdb.max-sub-compactions: 4
rocksdb.use-direct-io-for-flush-and-compaction: false
rocksdb.wal-bytes-per-sync: 256MB
rocksdb.writecf.level0-slowdown-writes-trigger: 32
rocksdb.writecf.level0-stop-writes-trigger: 64
rocksdb.writecf.max-write-buffer-number: 24
rocksdb.writecf.write-buffer-size: 256MB
storage.block-cache.capacity: 96GB
storage.scheduler-concurrency: 2048000
storage.scheduler-worker-pool-size: 8

  1. 看下 tikv 的 block-cache 监控是不是对应下降了
  2. 下降的时间点,对集群做了什么操作?比如用 lightning 导入数据之类的:生产环境所有TiKV节点storage.block-cache.capacity异常
1 个赞
  1. block-cache 监控

  2. 有做过一次lightning 导入,但是数据没有导入成功。

可以参考这个步骤将 block-cache 调整回来
https://docs.pingcap.com/zh/tidb/stable/tikv-control#动态修改-tikv-的配置

1 个赞

4.0 版本不能动态修改storage.block-cache.capacity

报什么错误?

$ tikv-ctl --host 172.16.188.140:20160 modify-tikv-config -n storage.block-cache.capacity -v 4GB
DebugClient::modify_tikv_config: RpcFailure: 2-UNKNOWN “failed to update config, err: Other(”[src/server/config.rs:205]: invalid advertise-status-addr: \“0.0.0.0:20180\”")"

这个错误可以参考下这个帖子:TiKV内存占用参数修改问题,在线修改配置文件失败

不折腾了,直接滚动重启tikv

:joy::joy::joy:

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。