TiKV缩容不掉如何解决?

【 TiDB 使用环境】测试
【 TiDB 版本】
【复现路径】
先执行了扩容,然后再进行的缩容,仍然卡着就说不过去了。
【遇到的问题:问题现象及影响】
TiKV节点缩容不掉,通常遇到的情况:

  • 1、经常遇到的情况是:3个节点的tikv集群缩容肯定会一直卡着,因为没有新节点接受要下线kv的region peer。
  • 2、另外就是除缩容tikv外,剩下的KV硬盘使用情况比较高,到达schedule.high-space-ratio=0.6的限制,导致该tikv的region无法迁移。
    【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
    【附件:截图/日志/监控】
    版本:TiDB v5.2.1 情况说明:这个tidb是有tiflash节点的,并且这个集群是一路从3.X升级到5.2.1版本 问题现场:为了下线一个3kv集群中的一个kv,我们在24号扩容了一个新kv,然后扩容完毕后,下线某个kv,都过了2天,该kv还是处于pending offline的状态,看监控leader+reigon已经切走了,为啥该kv的状态仍然没有tombstone?

下图是扩容和缩容tikv的监控,从下图可以发现扩容和缩容都已经完毕了。

贴下dashboard中集群信息里的相关信息吧

可以考虑用force的方式完成缩容
https://docs.pingcap.com/zh/tidb/stable/tiup-component-cluster-scale-in#--force
image

1 个赞

Pd-ctl store xx 看下这个store信息

感觉pd-ctl 中还有这个tikv的信息残留。确认region迁走了,可以pd-ctl 中store delete store-id删除残留store信息。

Pd-ctl store xx 看下这个store信息

store id 从哪里看到的

用下面方式,手动delete试试
tiup ctl:v5.2.1 pd -u http://127.0.0.1:2379 -i
store delete 1

tiup ctl:v5.2.1 pd -u http://127.0.0.1:2379 store
这可以看到store id

强制删掉试试呢

–force缩容加这个强制参数

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。