tikv-ctl

【 TiDB 使用环境】生产环境
【 TiDB 版本】V5.2.1
【复现路径】某tikv节点硬盘容量超过90%,执行两次扩容操作(扩容两个新节点),peer未均衡完时缩容了上述扩容的一个节点。
【遇到的问题:问题现象及影响】
集群目前正常读写,但是之前硬盘容量超90%的tikv节点拉不起来。




从图上看应该时当前节点要执行merge才会生成新peer,但是当前节点拉不起来

【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

80%就应该告警了,为啥用到90了嘞,可能compaction都做不了了 :joy_cat:

观察下监控,看看这个磁盘使用率高的节点,空间是在慢慢恢复吗,新增的节点有数据进来吗

这个节点是down的,但是整个集群是正常读写的 :sweat_smile:。不知道能不能把这个节点强下了

既然是正常读写,就先别想着用非正常手段处理,可以先清清日志啥的,腾出点空间,看看节点能恢复吗


prune掉Tombstone(172.16.116.213:20182)节点之后,同主机的tikv(172.16.116.213:20181)也噶了

把raft和rocksdb的log删了之后,现在已经降到80%以下了,感觉它自己已经拉不起来了。

为茶一定要下线

下线要是没问题的话,就可以重新扩容,资源重新利用了。

:joy:统计了下最近几天的数据,感觉没有缺失。直接缩容了

重新下线再上线试试

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。