minio集群删数据慢

大伙儿们的tidb集群数据是用minio备份的吗?我有个问题啊

我minio是8T *3 盘 * 4节点的集群,br备份的tidb数据。 备份的时候没感觉问题,现在删的时候 非常慢啊,并且删的过程中硬盘 io util 都是100%了,这是问题吗?还是本就这样慢呀

删了一晚上大概14个小时,才删了不到1T的数据,太慢了呀,


但是备份数据我看还是挺快的看备份日志能过到167M/s,为啥 就是删慢呀?

我想问这是正常的吗?是问题吗还是本就如此?
我minio版本 2023-03-20T20-16-18Z(本来以为是版本问题,最近才刚升级上来顺道解决那个信息泄漏漏洞),之前的版本也是这样慢

你试试到目录上rm 看要多久

1 个赞

你怎么删除的?rm删除? 磁盘io有监控吗?

1 个赞

你盘是机械盘 正常

1 个赞

mc rm 删的,通过console删更慢

直接删数据文件,不能这么搞吧万一出问题

要快换成固态硬盘 minio是对象存储 是这样的

1 个赞

感觉还是磁盘性能问题,我单机ssd磁盘,df空间为8.5T 也没这么慢啊

1 个赞

对就是盘的问题

1 个赞

主要是写数据不慢,删着慢。
那可能还是文件系统的限制,就像在Linux上删除一个大目录下的文件就非常慢甚至ls一下都慢

碎文件太多了

测试下你的盘,有些盘小块数据特别慢,看看是不是差距特别大
time dd if=/dev/zero of=test bs=8k count=10000 oflag=direct
time dd if=/dev/zero of=test bs=8M count=1000 oflag=direct

minio 对于碎片处理的 性能本来就不行,现在协议更换成 AGPL了…

什么意思?换协议说明了什么呀

这些数据文件是在用吗?或者直接去机器上删除临时的文件,排除一下是不是磁盘问题

不许白嫖了 :stuck_out_tongue_winking_eye:

1 个赞

有在用的业务,有备份的数据,不敢乱删数据文件的。
主要是写入数据是挺快的, 就是删起来慢, 写入快应该就能排除是硬盘问题了。

感觉还是我前面说的文件系统级的问题,大目录下面删除操作消耗了大量IO,导致的慢吧

不一定是磁盘的问题,有时候进程太多也会撑爆IO然后导致删除缓慢

为啥不直接删除数据呢,使用drop删除数据后超过gc时间后自动释放空间了

drop 怎么删的?不太懂,我这是minio