【TiDBer 唠嗑茶话会 65 】赢取 Ti 红露营五件套，分享常见 TiDB 错误 & 解决不费脑！

🌏 互助交流区 🗣 唠嗑茶话会
60

【常见错误】offline-peer-region-count pending 无法正常下线节点

offline-peer-region-count pending

delete store 节点后offline-peer-region-count为 1，无法进入Tombstone Stores

【解决方法】修复有异常的region

image
image1188×400 51.2 KB

获得 region id

使用命令 region check offline-peer 查看具体的 region id 不要和 peer id 混了

{
  "count": 1,
  "regions": [
    {
      "id": 79807321,  // <<<<<< region id
      "epoch": {
        "conf_ver": 77888,
        "version": 138300
      },
      "peers": [
        {
          "id": 88613118,  // <<<<<< perr id
          "store_id": 2225565
        },
        {
          "id": 89481588,
          "store_id": 1125255
        },
        {
          "id": 89538163,
          "store_id": 80069537
        },
        {
          "id": 90020902,
          "store_id": 972009,
          "is_learner": true
        }
      ],
      "leader": {
        "id": 89538163,
        "store_id": 80069537
      },
      "down_peers": [
        {
          "peer": {
            "id": 90020902,
            "store_id": 972009,
            "is_learner": true
          },
          "down_seconds": 1494305
        }
      ],
      "pending_peers": [
        {
          "id": 90020902,
          "store_id": 972009,
          "is_learner": true
        }
      ]....
    }
  ]
}

剔除 region peer

使用命令 operator add remove-peer 79807321 972009

移除 strore 972009 上的 region 79807321 的副本

执行成功后，节点正常下线

image

官方处理
无法正常下线
扩缩容
TiKV缩容一直处于Pending Offline状态

常见命令

Api 命令

# 强制将某个 sotre 设置为 Tombstone
curl -X POST http://192.168.111.101:2379/pd/api/v1/store/2499686/state?state=Tombstone

# 清理 pd 测的 region 信息
curl -X DELETE http://192.168.111.101:2379/pd/api/v1/admin/cache/region/5652996

# 调整权重
./resources/bin/pd-ctl -u "http://192.168.111.101:2379" -d store weight 122781445 1.2 1.2
1 个赞