tikv扩容后数据不均衡

🪐 TiDB 技术问题
1

【TiDB 使用环境】生产环境 /测试/ Poc
【TiDB 版本】v8.1.1
【操作系统】arm
【部署方式】华为云云服务器
【集群数据量】每个 tikv 都有 4.8t 的磁盘，之前 3 个 tikv 平均占比 80.5
【集群节点数】之前 tikv3 个，现在扩容到 5 个
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面

image
image1096×687 42 KB

image
image1418×378 101 KB

新增了 2 个 tikv 节点，过去 2 个多小时了，数据还没均衡过去，要怎么排查问题，请大佬们告诉我

2

有没有打过标签？
然后，可以检查下region 的分布情况

3

没打过标签，region 分布情况怎么看

4

image
image1424×631 93.8 KB

是从这里看吗，这里的意思是需要 6 天才能搞定吗

5

大哥能说一下，第二个黑色的图是哪个地方看的吗？我怎么没见到过

6

两个视图查看
INFORMATION_SCHEMA.TIKV_REGION_PEERS和
INFORMATION_SCHEMA.TIKV_REGION_STATUS
或者
也可以通过pd-ctl查看
https://docs.pingcap.com/zh/tidb/stable/pd-control#查询-region-副本的分布情况

1 个赞
7

这个是自己加的，node exporter 图表

可以去这里看下

8

image
image479×1257 37.2 KB

这个输出来好多

9

image
image867×295 7.94 KB

这里的数据同样很多

10

image
image1436×418 106 KB

现在就是 tikv 的内容一直在涨，不知道什么情况
如果我这是重启 tikv1,2,3，逐个重启，会有问题吗？

我这次是加了一个 tiflash，两个 tikv

11

扩容TiDB的tikv节点后，新增的tikv数据节点数据均衡很慢，有没有加速的办法？ - TiDB 的问答社区
这个也仔细参考下，看有没有适合你的

12

监控tsp-prod-tidb-cluster /tsp-prod-tidb-cluster-Overview
看下region有没有变化，参考我这个扩容kv节点

image
image640×322 24 KB

13

image
image720×420 50.2 KB

这样应该算有吧，但是很缓慢，7 个小时了，才 6000 多

14

config SET leader-SCHEDULE-LIMIT 64
config SET replica-SCHEDULE-LIMIT 80
store LIMIT ALL 5
可以调整这三个参数，不影响业务的情况下，尽量往大了调整

15

store LIMIT ALL 5
这个默认的 tikv 是 15 了，我调成 30，效果不是很明显

16

既然在搬就等呗。

17

已经搞完了，3 天才搬完 :joy:只是没想到竟然要那么久

19

pd > cluster 下第一个调度图，看是不是调度没起来，可以单独加一个add的调度，store limit all 是全调，可能有资源争用

20

检查下region的分布呢

21

:flushed:有用fio测过磁盘IO么？时间有点久了~