已经卸载的一个tikv节点,最近又在监控中显示信息,请问如何彻底删除。

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】2tidb 3pd 3tikv
【复现路径】8月15日的时候此tikv的io达到100%,先做了stop,然后进行了缩容,最后进行tombstone stores清理,最近发现又在监控中显示相关信息,请问如何才能彻底清除此tikv信息。
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】


Abnormalstores

清理granfa中tombstone状态节点
pd-ctl -u http://0.0.0.0:2379 store remove-tombstone

重新reload grafana

tiup cluster reload -R prometheus,reloda一下prometheus试试

试了,不行,估计还是要把pd-ctl store中的信息清除。

试了,也不行,估计还是要把pd-ctl store中的信息清除。

pd-ctl -u http://0.0.0.0:2379 store remove-tombstone ,这个可以

不是,你pd里面还有啊,我以为只是Prometheus缓存的有呢,那用pdctl把节点删掉吧

pd-ctl里面只能处理Tombstone Stores状态的吧

这个节点的状态是Down Stores,也可以用remove-tombstone吗?第一次遇到这个情况

重启下集群试试呢

怎么缩容的 , 用–force了吧? 你监控的状态是down ,information_schema.tikv_store_status,看下能看到缩容的节点不

在pd-ctl中查看下store的状态,down的store是否有残留region

store delete store_id
直接删除试试,为啥是down啊,你不是听过tiup已经scale-in这个节点了吗?

是用的–force ,information_schema.tikv_store_status可以看到,上面的截图里面有

pd-ctl store delete xxx 执行这个 状态应该会变为offline状态,然后等leader region count变为0
image

如果长时间不动参考下面文档处理

1 个赞

按楼上的三板斧试试,一般kv是可用状态,别用–force缩容节点后续处理比较麻烦

大佬写得很详细,但是我没有操作过,请问xxx表示的是store_id吗?

是的,