TIKV节点在offline阶段进行--force缩容后如何处理

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】v7.5.0
【复现路径】
1、正常缩容tikv节点；
2、停止缩容的tikv服务；
3、强制缩容tikv节点
【遇到的问题：问题现象及影响】
因一个tikv节点磁盘空间已达99%，为避免磁盘爆了导致服务挂掉，手动将该节点缩容，缩容过程中该节点数据增长到100%，考虑停该节点服务后，将快照文件转移至其他磁盘腾挪空间，导致kv节点起不来。随后该store的region数不断上涨，考虑将该节点当成宕机节点使用–force强制下线
【资源配置】
【复制黏贴 ERROR 报错的日志】

【其他附件：截图/日志/监控】

2

image
image1855×1166 325 KB

3

因强制缩容后，tikv节点已在tiup display中不可见，但在pdctl里仍然可以找到对应的store，且region_count一直在上涨，并未迁移走，这种如何将该节点完成缩容。

image
image898×585 16.6 KB

4

store remove storeid掉试试呢

5

store delete 命令无法解决根本问题

问题的根因是在对应tikv node 上面的 region 没有完全迁移走，需要 pdctl 中调大 region 调度参数，等 region 迁移完成，pd-ctl对应 tikv的信息会自动清理。
调大：
replica-schedule-limit，max-pending-peer-count 以及 max-snapshot-count

1 个赞