【 TiDB 使用环境】生产环境
【 TiDB 版本】V5.2.1
【复现路径】某tikv节点硬盘容量超过90%,执行两次扩容操作(扩容两个新节点),peer未均衡完时缩容了上述扩容的一个节点。
【遇到的问题:问题现象及影响】
集群目前正常读写,但是之前硬盘容量超90%的tikv节点拉不起来。
从图上看应该时当前节点要执行merge才会生成新peer,但是当前节点拉不起来
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
小龙虾爱大龙虾
(Minghao Ren)
2
80%就应该告警了,为啥用到90了嘞,可能compaction都做不了了
小龙虾爱大龙虾
(Minghao Ren)
3
观察下监控,看看这个磁盘使用率高的节点,空间是在慢慢恢复吗,新增的节点有数据进来吗
这个节点是down的,但是整个集群是正常读写的 。不知道能不能把这个节点强下了
小龙虾爱大龙虾
(Minghao Ren)
5
既然是正常读写,就先别想着用非正常手段处理,可以先清清日志啥的,腾出点空间,看看节点能恢复吗
prune掉Tombstone(172.16.116.213:20182)节点之后,同主机的tikv(172.16.116.213:20181)也噶了
把raft和rocksdb的log删了之后,现在已经降到80%以下了,感觉它自己已经拉不起来了。
下线要是没问题的话,就可以重新扩容,资源重新利用了。
system
(system)
关闭
12
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。