TiKV snap 目录容量增长

🪐 TiDB 技术问题 部署&运维管理
4

定义：snap 存的是 “snapshot 镜像数据” from --> https://docs.pingcap.com/zh/tidb/v6.0/manage-cluster-faq#tidb-tikv-有哪些数据目录

排查步骤：

  1. 可以看下集群中 snap 数据量不断增加的 tikv 实例日志是否有什么异常
  2. 参考 看面板测是否存在什么异常，及异常调度，或大量查询打到这个问题节点之类的，导致产生大量 snapshot，但持续膨胀应该属于非正常现象。bug 或 不规范操作引起的可能性更大。

猜测方向：

  1. https://github.com/tikv/tikv/pull/10831 可以看下是否为该 PR 描述问题（snap 存在有问题的文件，导致 snap 目录的 GC 总是被中断。目录内文件持续膨胀），可以从 tikv.log 搜索关键信息 ”region is disconnected remove snaps“ 或者 “handle gc snap failed”。
  2. https://github.com/tikv/tikv/issues/11673 或是这个 PR ，可以看看 tikv.log 中是否有 compaction 报错。这个问题的 workaround 是 raftstore.use-delete-range = true

综上，可以自己根据提示的信息排查（还需要更多信息分析），或把 tikv 日志 或 clinic 搜集的监控信息共享到帖子中，大家一起排查。
clinic 使用方法 --> 【SOP 系列 22】TiDB 集群诊断信息收集 Clinic 使用指南&资料大全