tikv oldest snapshot duration 保留N天导致磁盘打满

TiDBer_yyy · 2023 年8 月 30 日 21:40

【 TiDB 使用环境】生产环境
【 TiDB 版本】5.0.4、5.0.5
【复现路径】发现监控告警，磁盘空间不足。

【遇到的问题：问题现象及影响】
原帖子：5.0.4 版本某个节点tikv oldest snapshot duration 保留N天导致磁盘打满
社区提示：可以手动compact，但是节点的磁盘已经90%+，compact会占用大量磁盘空间，导致磁盘打爆。
【资源配置】
【附件：截图/日志/监控】

像风一样的男子 · 2023 年8 月 31 日 00:35

看你上个帖子你把gc关了？？

Fly-bird · 2023 年8 月 31 日 00:48

多大的磁盘啊

tidb菜鸟一只 · 2023 年8 月 31 日 00:49

为啥关gc啊，你关了，历史数据一直不清理，当然磁盘占用多了，都不gc了，也没必要compact了，compact就是缩一下gc掉的空间，gc都停了，还compact啥。。。

TiDBer_yyy · 2023 年8 月 31 日 01:08

在用dumpling 备份数据，搭建从库集群。

像风一样的男子 · 2023 年8 月 31 日 01:09

集群现在是什么状态？

TiDBer_yyy · 2023 年8 月 31 日 01:10

嗯嗯，已经关闭。前天打开一整天gc。但是历史snapshot没用消除。

dba-kit · 2023 年8 月 31 日 01:10

5.0还不支持PITR增量备份，如果想做集群迁移，最好是分批拆分迁移，多搭建几个TiCDC来同步。
另外，如果是下游是TiDB集群，更好的选择是BR工具，物理备份速度很快的。dumping太慢了，对集群的影响也比较大

TiDBer_yyy · 2023 年8 月 31 日 01:10

可用，磁盘持续告警。多台机器的磁盘空间都达到90%。达到90% 的tikv节点数量在增加

像风一样的男子 · 2023 年8 月 31 日 01:12

如果你要搭建从库因为gc问题数据没法一致的话，建议是吧gc时间改长不要关闭。

TiDBer_yyy · 2023 年8 月 31 日 01:12

TiDBer_yyy · 2023 年8 月 31 日 01:12

好的，我试试

像风一样的男子 · 2023 年8 月 31 日 01:14

br备份如果你s3一直不成功就改成备份到nfs共享盘试试。

TiDBer_yyy · 2023 年8 月 31 日 01:17

公司还没有nfs共享盘。后面我研究一下。

开启不知道能否解决问题，其余集群开启gc也出现类似问题

zhanggame1 · 2023 年8 月 31 日 01:19

gc关了几天了？

TiDBer_yyy · 2023 年8 月 31 日 01:23

之前近1.5周，前天开启1天，然后关闭到今天早晨

像风一样的男子 · 2023 年8 月 31 日 01:30

你找个磁盘够大的服务器自己安装下nfs就行了

TiDBer_yyy · 2023 年8 月 31 日 01:38

感谢大佬。
我找找教程。
另外，br备份报错，不知道是集群问题，还是什么问题

TiDBer_yyy · 2023 年8 月 31 日 01:47

大佬，回归到帖子的问题，不知道打开gc能否解决问题。目前已经打开。gc-life-time=480h，看snapshot duration未减少

像风一样的男子 · 2023 年8 月 31 日 01:52

你gc时间设置了20天，但是我看你最长的snapshots时间是10天，要等10天后才会开始清理碎片