空region无法merge

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
生产

【概述】 场景 + 问题概述
空region 无法merge
【背景】 做过哪些操作

【现象】 业务和数据库现象

【问题】 当前遇到的问题

【业务影响】

【TiDB 版本】
5.1.2

【应用软件及版本】

【附件】 相关日志及配置信息

  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息

监控(https://metricstool.pingcap.com/)

  • TiDB-Overview Grafana监控
  • TiDB Grafana 监控
  • TiKV Grafana 监控
  • PD Grafana 监控
  • 对应模块日志(包含问题前后 1 小时日志)


参数

image

调整过"merge-schedule-limit": 16。 8调整到16 无效果

  "id": 1033970,
  "start_key": "74800000000000D3FF105F720000000000FA",
  "end_key": "74800000000000D3FF1100000000000000F8",
  "epoch": {
    "conf_ver": 400,
    "version": 17358
  },
  "peers": [
    {
      "id": 1049814,
      "store_id": 95,
      "role": 1,
      "role_name": "Learner",
      "is_learner": true
    },
    {
      "id": 1049844,
      "store_id": 94,
      "role": 1,
      "role_name": "Learner",
      "is_learner": true
    },
    {
      "id": 5200716,
      "store_id": 1,
      "role_name": "Voter"
    },
    {
      "id": 6042112,
      "store_id": 9,
      "role_name": "Voter"
    },
    {
      "id": 6933745,
      "store_id": 8,
      "role_name": "Voter"
    }
  ],
  "leader": {
    "id": 6042112,
    "store_id": 9,
    "role_name": "Voter"
  },
  "written_bytes": 0,
  "read_bytes": 0,
  "written_keys": 0,
  "read_keys": 0,
  "approximate_size": 1,
  "approximate_keys": 0
},
{
  "id": 20357063,
  "start_key": "74800000000048D8FF1C5F720000000000FA",
  "end_key": "74800000000048D8FF1D00000000000000F8",
  "epoch": {
    "conf_ver": 35579,
    "version": 1398706
  },
  "peers": [
    {
      "id": 20357064,
      "store_id": 6,
      "role_name": "Voter"
    },
    {
      "id": 20357065,
      "store_id": 8,
      "role_name": "Voter"
    },
    {
      "id": 20357066,
      "store_id": 10,
      "role_name": "Voter"
    }
  ],
  "leader": {
    "id": 20357064,
    "store_id": 6,
    "role_name": "Voter"
  },
  "written_bytes": 3868595382,
  "read_bytes": 0,
  "written_keys": 22821923,
  "read_keys": 0,
  "approximate_size": 1,
  "approximate_keys": 0
}

]

随便查了两个region,有的能查到 有的查不到。

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1赞

pd-ctl scheduler show 中是否有 region merge 相关的调度?这个 learner 的数量也一直没变,拉长监控看下呢?该集群当前正在进行有运维操作么?

1赞

这个截图里是有的

1赞

把key-type table改成raw试试? config set key-type raw

1赞


集群无操作

1赞

我开启了placement rules 不能做这个修改

1赞

region health 看下一天的趋势图呢?是之前 region merge 正常,某个时间点开始不正常的么?

1赞

可以查下有哪些空region
select * from TIKV_REGION_PEERS where region_id in (select region_id from TIKV_REGION_STATUS where table_id is null order by region_id desc);
然后取几个到对应的tikv节点上过滤下 grep -irn “region_id” tikv.log 看下有没有啥合并报错的日志
另外看你learner 的数量一直没变 是有用tiflash? 有用的话有learner倒是正常的

1赞

之前都是正常的

1赞

因为现在默认是相邻的向右合并,相邻的region不满足条件,导致的。

3赞