如何测试tidb的数据压缩比
参考官方文档,或者同样的数据分别写入mysql和tidb,看看磁盘占用就可以了
实际因为tidb是3副本,虽然可以压缩,但是最终3副本压缩后的物理大小,和mysql单库数据的物理大小差不多是1:1,如果只是想节省空间的话,没必要从mysql迁移到tidb
整 上300G数据库看看tikv占了多少
我们这边相同的库表数据,MySQL迁移到TiDB之后,即使是3副本数据,也只有原来MySQL的70%左右,还是节省了不少空间的
“压缩比” 提到了一个对比情况,所以你要明确TiDB要和谁比,是磁盘比还是和别的数据库比。
如果是和别的数据库比,最好的办法就是在相同的环境下分别部署要对比的数据库(区分默认参数和调优参数),把相同数据规模的表分别写进去,对比磁盘使用情况。
导入数据看监控,在grafana下的tikv-details->》rocksdb-kv -》compression ratio
因为LSMtree 90%的数据在最后一层level-6,就看下level-6的压缩率是否符合预期就好了。
这个和具体的数据有关,没办法确定一个值,我见过的有压缩比20多的,也有1点几的,grafana有个图可以看kv的整体压缩比,pd>statistics balance > size amplification
1 个赞
数据压缩比,应该是和其他数据库比较吧?
单实例3副本,KV节点呢?压缩比是否还要考虑KV的放大效应?
最好实际看磁盘物理占用量,视图里面查出来的都不准
对比空间使用情况,应该是从集群整体来看数据3个副本所占据的磁盘总空间
这个真不错,还能看到tiflash的整体压缩率。
嗯嗯,是的,应该综合所有副本来考虑
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。