tidb 空间使用率81% 建立索引异常

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境

目前tikv所在空间使用率81%，为一张大表建立索引，大表1亿笔数据，在建立到58833200 时就无法再建立，pd日志warn： 想知道tidb 空间超过80% 就无法建立索引了吗
[2024/10/09 08:14:25.450 +08:00] [WARN] [cluster.go:677] [“store does not have enough disk space”] [store-id=2] [capacity=1919851315200] [available=366870167552]
[2024/10/09 08:14:29.076 +08:00] [WARN] [cluster.go:677] [“store does not have enough disk space”] [store-id=1] [capacity=1919851315200] [available=368429383680]
[2024/10/09 08:14:32.239 +08:00] [WARN] [cluster.go:677] [“store does not have enough disk space”] [store-id=7] [capacity=1919851315200] [available=347339821056]
[2024/10/09 08:14:35.614 +08:00] [WARN] [cluster.go:677] [“store does not have enough disk space”] [store-id=2] [capacity=1919851315200] [available=366104895488]
[2024/10/09 08:14:36.688 +08:00] [INFO] [grpc_service.go:1461] [“update service GC safe point”] [service-id=gc_worker] [expire-at=9223372036854775807] [safepoint=453098150733807616]
[2024/10/09 08:14:39.136 +08:00] [WARN] [cluster.go:677] [“store does not have enough disk space”] [store-id=1] [capacity=1919851315200] [available=368242487296]
[2024/10/09 08:14:42.270 +08:00] [WARN] [cluster.go:677] [“store does not have enough disk space”] [store-id=7] [capacity=1919851315200] [available=346903248896]
[2024/10/09 08:14:45.593 +08:00] [WARN] [cluster.go:677] [“store does not have enough disk space”] [store-id=2] [capacity=1919851315200] [available=365643583488]
[2024/10/09 08:14:49.097 +08:00] [WARN] [cluster.go:677] [“store does not have enough disk space”] [store-id=1] [capacity=1919851315200] [available=367116169216]
[2024/10/09 08:14:49.436 +08:00] [INFO] [cluster_worker.go:139] [“alloc ids for region split”] [region-id=121418344] [peer-ids=“[121418345,121418346,121418347]”]

2

是的，集群会有一部分预留空间。另外，这个空间是tikv所在分区下空间，不是整个服务器磁盘空间。

image
image913×321 27 KB

https://docs.pingcap.com/zh/tidb/stable/tikv-configuration-file#reserve-space

3

SHOW config WHERE NAME LIKE ‘%low-space-ratio%’
把这参数都调大一点吧

4

这个预留空间文件我有手动删除

5

手动删除后的空间使用率是多少？是否有大于一半的tikv数据文件所在的文件系统使用率都超过了80%？

6

是不是tikv所在分区的空间不够？

7

刪了没有降太多

8

这个怎么看

9

调到了85%。目前看卡在58833206 行数据又不动了

10

df -Th

11

这个空间就是使用率82%

12

剩余空间是多大？

13

300G左右

14

当 TiKV 节点的磁盘空间使用率超过 80% 时,PD 会发出警告日志,就是你贴的日志内容。当使用率超过 90% 时,TiKV 节点会自动进入只读模式以防止进一步写入。目前你TiKV 节点的磁盘使用率为 82%,已经触发了警告,但还未达到只读阈值。索引创建中断可能是由于其他因素导致的,比如临时空间不足或者系统资源限制。

15

昨天对空间进行了扩容。依然无法完整建立索引

16

你昨天发的日志内容是警告不是报错，感觉是其他的问题，从系统资源角度排查下吧

17

先扩容让空间使用率降到60%-70% 试试看

18

已经降低到了50%，并且重启了集群和集群服务器

19

1、看下资源使用情况，cpu、内存是否有瓶颈
2、tidb_ddl_reorg_worker_cnt设置过大
3、temp-dir修改到较快的磁盘上，也要注意空间使用情况

20

进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
看下你的配置~