lightning报错“Region distribution is unbalanced, the ratio of the regions”

jarry_618 · 2023 年4 月 17 日 02:32

【 TiDB 使用环境】 /测试/
【 TiDB 版本】6.5
【复现路径】做过tikv和tiflash的scale-out
【遇到的问题：问题现象及影响】
【资源配置】
【附件：截图/日志/监控】

jarry_618 · 2023 年4 月 17 日 02:32

tidb菜鸟一只 · 2023 年4 月 17 日 03:25

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-prechecks#tidb-lightning-前置检查
Region 分布状态 >= 5.3.0 检查 TiKV 集群的 Region 分布是否均匀，以及是否存在大量空 region，如果空 Region 的数量大于 max(1000, 表的数量 * 3)，即大于 “1000” 和 "3 倍表数量"二者中的较大者，TiDB Lightning 无法执行导入。
看样子你的集群的 Region 分布不够均匀

jarry_618 · 2023 年4 月 17 日 04:41

看上去空region很少。

jarry_618 · 2023 年4 月 17 日 05:07

region确实是不均匀，新增的3个节点上只有个位数的region。
但貌似也没有命令去做rebalance啊。。。

TiDBer_pkQ5q1l0 · 2023 年4 月 17 日 06:19

balance是自动进行的，看看pd operate的监控

jarry_618 · 2023 年4 月 17 日 08:19

几个小时过去了，发现根本没做rebalance。估计是因为我这边测试环境没有做业务操作。

magongyong · 2023 年4 月 17 日 08:59

数据量多大，不行就用tidb模式吧，我之前也遇到过这个问题

magongyong · 2023 年4 月 17 日 09:00

版本是6.5.0吧？

jarry_618 · 2023 年4 月 17 日 09:03

是的，V6.5.0.

jarry_618 · 2023 年4 月 17 日 09:04

测试环境，不想绕开了，希望能找到解决方法。

magongyong · 2023 年4 月 17 日 09:05

我是升级到6.5.1后没再出现这个问题了，你可以试试，不升级的话，改成tidb模式应该可以

jarry_618 · 2023 年4 月 18 日 06:13

升级成6.5.1之后，看到确实在做rebalance了，虽然速度不快

jarry_618 · 2023 年4 月 18 日 13:04

发现停住了，最终还是不均衡。。。

magongyong · 2023 年4 月 18 日 13:09

导入还报错么，不均衡这个问题我这到没有出现，一般过一段时间会自动均衡

jarry_618 · 2023 年4 月 19 日 02:04

可以看到，不平衡的比例降低了，但还是差一些。

xingzhenxiang · 2023 年4 月 19 日 02:42

尝试扩一个tikv，触发一次大的数据迁移平衡试试。
我就是6.5.1，导入1.5T数据也没看到这个报错

jarry_618 · 2023 年4 月 19 日 03:37

导入之前，你数据库量大吗？
其次你导入之前有扩tikv么？

xingzhenxiang · 2023 年4 月 19 日 03:42

导入之前有9.2T的数据，我的导入模式是logical 模式导入，但是导入数据和以前的是不通database；
导入前我这边做升级和机器资源上下线，都是通过扩缩容实现的

jarry_618 · 2023 年4 月 19 日 14:17

logical的不会有这个问题的。