tikv snap目录占用500G空间，导致磁盘快满，怎么处理？

[GoGoWen]

【TiDB 使用环境】:生产/测试/POC
生产
【TiDB 版本】
5.1.0
【出现的问题】
18台tikv， 其中有一台snap目录占磁盘500G（总量2T）， 导致该tikv磁盘水位高， 这是什么原因？该如何处理？
【可复现操作】 做过哪些操作

4.0K	./monitor-9100
200M	./tikv-20160/raft
1.3G	./tikv-20160/import
554G	./tikv-20160/snap
1.1T	./tikv-20160/db
1.7T	./tikv-20160
1.7T	.

【现象】 业务和数据库现象

【业务影响】

【脚本】

【日志】

[啦啦啦啦啦]

snap-gc-timeout

调整这个参数可以控制snapshot 文件的最长保存时间

[GoGoWen]

可以直接删除snapshot文件吗？

[GoGoWen]

这个配置说是默认4小时， 但看目录下的文件有超过4小时的吧， 这是什么原因呢？
-rw-r–r-- 1 root root 404696 Nov 23 21:01 rev_2556795_12_102232_write.sst
-rw-r–r-- 1 root root 15815527 Nov 23 13:54 rev_2556937_8_70749_default.sst
-rw-r–r-- 1 root root 51 Nov 23 13:54 rev_2556937_8_70749.meta
-rw-r–r-- 1 root root 575702 Nov 23 13:54 rev_2556937_8_70749_write.sst
-rw-r–r-- 1 root root 16827847 Nov 29 07:23 rev_2556941_10_80124_default.sst
-rw-r–r-- 1 root root 51 Nov 29 07:23 rev_2556941_10_80124.meta
-rw-r–r-- 1 root root 616196 Nov 29 07:23 rev_2556941_10_80124_write.sst
-rw-r–r-- 1 root root 17306528 Nov 20 11:34 rev_2556952_7_62235_default.sst
-rw-r–r-- 1 root root 51 Nov 20 11:34 rev_2556952_7_62235.meta
-rw-r–r-- 1 root root 614350 Nov 20 11:34 rev_2556952_7_62235_write.sst
-rw-r–r-- 1 root root 17987082 Nov 29 04:46 rev_2557364_15_92963_default.sst
-rw-r–r-- 1 root root 51 Nov 29 04:46 rev_2557364_15_92963.meta
-rw-r–r-- 1 root root 650441 Nov 29 04:46 rev_2557364_15_92963_write.sst
-rw-r–r-- 1 root root 17088782 Dec 4 01:32 rev_2557938_13_86436_default.sst
-rw-r–r-- 1 root root 51 Dec 4 01:32 rev_2557938_13_86436.meta
-rw-r–r-- 1 root root 714892 Dec 4 01:32 rev_2557938_13_86436_write.sst
-rw-r–r-- 1 root root 9379237 Nov 21 15:33 rev_2558281_12_96434_default.sst
-rw-r–r-- 1 root root 51 Nov 21 15:33 rev_2558281_12_96434.meta
-rw-r–r-- 1 root root 368061 Nov 21 15:33 rev_2558281_12_96434_write.sst
-rw-r–r-- 1 root root 41 Nov 30 04:11 rev_2558407_10_755972.meta
-rw-r–r-- 1 root root 10164301 Nov 30 04:11 rev_2558407_10_755972_write.sst
-rw-r–r-- 1 root root 18329602 Nov 20 09:10 rev_2558508_10_93046_default.sst
-rw-r–r-- 1 root root 51 Nov 20 09:10 rev_2558508_10_93046.meta
-rw-r–r-- 1 root root 654978 Nov 20 09:10 rev_2558508_10_93046_write.sst
-rw-r–r-- 1 root root 7065662 Nov 20 02:27 rev_2558530_15_79388_default.sst
-rw-r–r-- 1 root root 50 Nov 20 02:27 rev_2558530_15_79388.meta
-rw-r–r-- 1 root root 276973 Nov 20 02:27 rev_2558530_15_79388_write.sst
-rw-r–r-- 1 root root 9891 Feb 15 06:06 rev_708306_59_2238925_default.sst
-rw-r–r-- 1 root root 50 Feb 15 06:06 rev_708306_59_2238925.meta
-rw-r–r-- 1 root root 8864668 Feb 15 06:06 rev_708306_59_2238925_write.sst

[Lucien-卢西恩 (路西恩)]

@GoGoWen

可以直接删除snapshot文件吗？

最好不要，通过参数让集群自己删除，参考一下另外一个帖子 snap目录增长过大

[GoGoWen]

试了，设置了 snap-gc-timeout， 没效果。 snapshot持续增加，磁盘快爆了， 还有啥建议吗？

[h5n1]

有个隐藏参数 server.snap-max-total-size 可以限制 snapshot 空间占用

[GoGoWen]

set config tikv server.snap-max-total-size=“100MB”; 这么设置能生效吗？还是必须重启tikv？

[边城元元]

set config tikv raftstore.snap-gc-timeout=‘4h’

没有看到 这个参数 server.snap-max-total-size
如果使用 set config tikv `` 这个可以修改成功应该可以，不需要重启集群（这个命令是在线修改）

[h5n1]

我的5.2.3版本上是可以在线设置的，没有warning

[Leonadle]

我也是设置这个参数无效，我看目录下的文件都超过了7天了