Tikv 缩容后一直 Pending Offline无法移除

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
6.2.5
【复现路径】做过哪些操作出现的问题
对tikv 进行缩容
操作命令：tiup cluster scale-in tidb-online --node 10.10.4.53:20160
【遇到的问题：问题现象及影响】
一直处于 Pending Offline

lvYX0YmBui
lvYX0YmBui1090×72 45.5 KB

“version”: “6.5.2”,
“peer_address”: “10.10.4.53:20160”,
“status_address”: “10.10.4.53:20180”,
“git_hash”: “a29f525cec48a801e9d8b1748356a88385bcfd33”,
“start_timestamp”: 1698251070,
“deploy_path”: “/data1/tidb/tidb-deploy/tikv-20160/bin”,
“last_heartbeat”: 1700097187495042106,
“state_name”: “Offline”
},
“status”: {
“capacity”: “1.719TiB”,
“available”: “1.44TiB”,
“used_size”: “8.286GiB”,
“leader_count”: 0,
“leader_weight”: 1,
“leader_score”: 0,
“leader_size”: 0,
“region_count”: 562,
“region_weight”: 1,
“region_score”: 19856.65592724587,
“region_size”: 16820,
“witness_count”: 0,
“slow_score”: 1,
“start_ts”: “2023-10-26T00:24:30+08:00”,
“last_heartbeat_ts”: “2023-11-16T09:13:07.495042106+08:00”,
“uptime”: “512h48m37.495042106s”
}
},
监控信息leader 已经结束，但是region 还是有的 如图

image
image1843×398 54.4 KB

各位小伙伴帮忙看下 感谢

【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件：截图/日志/监控】

2

region 都没迁移完

1 个赞
3

当对某个 TiKV 缩容后，该 TiKV 会变为 Offline 状态，该状态只是 TiKV 下线的中间状态，处于该状态的 TiKV 会进行 leader 的 transfter 和 region balance ，当 leader_count/region_count 均显示 transfter 或 balance 完毕后，该 TiKV 会由 Offline 转为 Tombstone。在 Offline 状态时，TiKV仍能提供服务、进行GC等操作，禁止关闭该 TiKV 服务以及其所在的物理服务器或删除数据文件。
你的**“leader_count”: 0,“region_count”: 562,**，应该还没跑完吧

4

下线等待快一周了 ，日志信息报找不到lender，会不会是region 损坏导致

5

pd面板里面看下 offline store progress 还有多少，还有个预估时间。

6

那按一楼的文档先恢复成UP下，手动调节下leader_count/region_count 转移，再下线试试！

7

好的 我尝试下

8

好的 我去看下

9

如果你还是找不到原因，可以把监控收集下帮你看看

10

嗯嗯 好的 我先按照楼上的给设置成up 手动调整leader_count/regin_count

11

老师 region 目前没有lender，如何迁移走呢

image
image834×397 30.1 KB

12

看前面发的文档链接

13

好的 感谢

14

您好 请问 如何手动去调度region

15

文档看不是太明白

16

image
image1512×809 197 KB

17

他那个手册上的操作是循环批量迁移region的

 store_list='store1 store2...'
 for i in $store_list
 do
    for j in `pd-ctl region store "$i" | jq ".regions[] | {id: .id}"|grep id|awk '{print $2}'`
     do
        pd-ctl operator add remove-peer $j $i
     done
   pd-ctl store $i
 done

j是regionID i是peerid
原始命令是
pd-ctl operator add remove-peer regionID peerid