Tikv磁盘很快就占满了，具体是什么原因，有没有大佬帮忙分析下？

TiDBer_ZHcgATCp · 2023 年12 月 19 日 09:29

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】V7.1.0
【复现路径】平常Lightning正常导出数据，从原先的35%磁盘占用上升到78%,业务数据没有增多
【遇到的问题：问题现象及影响】磁盘占满，不知道是不是没有释放空间,因为会经常对表进行rename操作
【资源配置】
【附件：截图/日志/监控】

这些为空的region没有对应到表，是历史数据没被删除占用空间吗

zhanggame1 · 2023 年12 月 19 日 09:36

先看看gc是否正常推进了

TiDBer_ZHcgATCp · 2023 年12 月 19 日 09:40

看起来是正常推进的

Billmay表妹 · 2023 年12 月 19 日 09:50

进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
看下你的配置~

TiDBer_ZHcgATCp · 2023 年12 月 19 日 09:54

表妹，这个

terry0219 · 2023 年12 月 19 日 10:06

看你gc截图中的时间怎么有点奇怪呢

TiDBer_ZHcgATCp · 2023 年12 月 19 日 10:07

这个是服务器时间，显示多了一个小时

terry0219 · 2023 年12 月 19 日 10:13

show global variables like ‘tidb_gc_life_time’; 看看这个参数呢

TiDBer_ZHcgATCp · 2023 年12 月 19 日 10:20

小龙虾爱大龙虾 · 2023 年12 月 19 日 11:02

你说哪里的磁盘满了，你先去主机看看是啥占用了空间

TiDBer_ZHcgATCp · 2023 年12 月 19 日 14:19

我粗略统计了下表大小加副本占35%左右，剩下的不知道是什么，但看到有很多没有对应表名的region。不知道是不是这些占用了

Jellybean · 2023 年12 月 19 日 14:34

到PD面板里可以查看集群总空间、各个节点的可用空间、已用空间、总空间情况，也可以导tikv-details ->Cluster面板查看每个节点磁盘的机器使用情况，先看下集群的空间使用状况。

江湖故人 · 2023 年12 月 19 日 15:31

region-split-size没改过的话，即使没有GC，一个region也才96MB，count下有多少个没有表名的region。

春风十里 · 2023 年12 月 19 日 15:58

在 TIKV_REGION_STATUS 表中，TABLE_ID 、DB_NAME 和 TABLE_NAME 为 NULL 的数据是 TiKV 中的一些系统表或者系统 Region，这些 Region 不属于任何一个用户表，因此在 TIKV_REGION_STATUS 表中无法找到对应的 TABLE_ID 、DB_NAME 和 TABLE_NAME 信息。

春风十里 · 2023 年12 月 19 日 16:01

看看Grafana → PD 中Abnormal stores与Region Health的情况，看看是否store有啥异常空region那些是不是真的很多。我看之前有人遇到说是gc的问题

Kongdom · 2023 年12 月 20 日 00:37

检查一下是什么文件占用的比较大？是日志文件还是数据文件？是tidb集群文件，还是其他文件？
别是谁上传了个大文件到服务器。

zhanggame1 · 2023 年12 月 20 日 03:00

登录服务器，先du 看一遍到底什么文件占用的空间，是不是sst文件？

路在何chu · 2023 年12 月 20 日 05:42

先统计一下什么文件占用了空间

andone · 2023 年12 月 20 日 07:56

linux操作系统上du看看。以及gc的回收情况，region merge的情况

Inkjade · 2023 年12 月 20 日 08:43

先看下是那个文件占用磁盘空间大，

到PD面板里可以查看集群总空间、各个节点的可用空间、已用空间、总空间情况，也可以导tikv-details ->Cluster面板查看每个节点磁盘的机器使用情况
df -h 查看是那个盘占用大
具体目录中，查看具体的文件
du -h --max-depth=0
是否为日志文件