数据存储压缩

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
【概述】场景+问题概述
版本:4.0.6
1、tikv使用rocksdb进行数据的最终存储,请问tidb存放数据有压缩吗?如果有是在rocksdb这个层面做的吗?

2、如果是在rocksdb层面做的,用的是什么压缩算法,压缩比有多少?
【背景】做过哪些操作
【现象】业务和数据库现象
【业务影响】
【TiDB 版本】
【附件】

  1. TiUP Cluster Display 信息

  2. TiUP Cluster Edit Config 信息

  3. TiDB- Overview 监控

  • 对应模块日志(包含问题前后1小时日志)

tidb 是无状态的中间件,不存放数据
tikv -> rocksdb

实际上TiKV 提供 snappy,zlib,bzip2,lz4,lz4hc,zstd 等六种压缩算法

可以参考:
https://docs.pingcap.com/zh/tidb/stable/rocksdb-overview
https://github.com/facebook/rocksdb/wiki/Compaction
https://github.com/tidb-incubator/tidb-in-action/blob/master/session4/chapter7/compact.md#tikv-的空间放大

tidb集群安装以后,使用的rocksdb默认开启压缩吗?如果开启,是什么级别的压缩?

压缩算法的使用也不是固定的一种,参考 compression-per-levelbottommost-level-compression等tikv的相关参数
https://docs.pingcap.com/zh/tidb/stable/tikv-configuration-file#compression-per-level

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。