大伙儿们的tidb集群数据是用minio备份的吗?我有个问题啊
我minio是8T *3 盘 * 4节点的集群,br备份的tidb数据。 备份的时候没感觉问题,现在删的时候 非常慢啊,并且删的过程中硬盘 io util 都是100%了,这是问题吗?还是本就这样慢呀
删了一晚上大概14个小时,才删了不到1T的数据,太慢了呀,
但是备份数据我看还是挺快的看备份日志能过到167M/s,为啥 就是删慢呀?
我想问这是正常的吗?是问题吗还是本就如此?
我minio版本 2023-03-20T20-16-18Z(本来以为是版本问题,最近才刚升级上来顺道解决那个信息泄漏漏洞),之前的版本也是这样慢
感觉还是磁盘性能问题,我单机ssd磁盘,df空间为8.5T 也没这么慢啊
1 个赞
主要是写数据不慢,删着慢。
那可能还是文件系统的限制,就像在Linux上删除一个大目录下的文件就非常慢甚至ls一下都慢
测试下你的盘,有些盘小块数据特别慢,看看是不是差距特别大
time dd if=/dev/zero of=test bs=8k count=10000 oflag=direct
time dd if=/dev/zero of=test bs=8M count=1000 oflag=direct
xfworld
(魔幻之翼)
13
minio 对于碎片处理的 性能本来就不行,现在协议更换成 AGPL了…
数据库真NB
(Ti D Ber Rm Cf Adrg)
15
这些数据文件是在用吗?或者直接去机器上删除临时的文件,排除一下是不是磁盘问题
有在用的业务,有备份的数据,不敢乱删数据文件的。
主要是写入数据是挺快的, 就是删起来慢, 写入快应该就能排除是硬盘问题了。
感觉还是我前面说的文件系统级的问题,大目录下面删除操作消耗了大量IO,导致的慢吧
纯白镇的小智
(Ti D Ber Qm Qja01 M)
18
不一定是磁盘的问题,有时候进程太多也会撑爆IO然后导致删除缓慢
随缘天空
(Ti D Ber Ivw R7o Pj)
19
为啥不直接删除数据呢,使用drop删除数据后超过gc时间后自动释放空间了