扩容后的Tiflash节点负载不均衡

[terry0219]

【TiDB 使用环境】生产环境
【TiDB 版本】7.5.5
【操作系统】centos7.9
由于tiflash单节点负载高，将1台扩容为2台(机器配置一样)，副本数调整为2并且查看2台上面的region数量也是一样的。 上线后观察两台的tiflash负载不均衡，请问是怎么回事

[有猫万事足]

tiflash 7.5.1 cpu负载不均衡

找出 slow query 里出现概率最高的表 db_x.t_x 跑下面 sql，看看每个 tiflash 节点的数据是否分布均匀。 select TABLE_ID, p.STORE_ID, ADDRESS, count(p.REGION_ID) from information_schema.tikv_region_status r, information_schema.tikv_reg…

看这个。一般是因为数据分布的不均匀导致的。

[清风明月]

是不是有数据热点啊

[terry0219]

@tiflash 7.5.1 cpu负载不均衡

select TABLE_ID, p.STORE_ID, ADDRESS, count(p.REGION_ID) 
from information_schema.tikv_region_status r, information_schema.tikv_region_peers p, information_schema.tikv_store_status s
where r.db_name = 'db_x' and r.table_name = 't_x'
and r.region_id = p.region_id and p.store_id = s.store_id and json_extract(s.label, "$[0].value") = "tiflash" 
group by TABLE_ID, p.STORE_ID, ADDRESS;

这说明是均衡的吧

[dba-kit (张天师)]

建议按照设置可用区，加下 LOCATION LABELS，TiFlash 只设置副本数为2，是有可能两个副本都分到同一台机器上的。
否则虽然从 region 个数上看起来是均衡的，但可能热点 region 都局限到某一个节点上。

[dba-kit (张天师)]

类似问题：

TiFlash 存算分离两个 Write节点的 Region 分布不均匀

这里再补充一下，还有个前提条件，需要对 Write Node 设置Labels，否则 LOCATION LABELS 并不会生效。只有设置了不同的 Labels，才能真正保证同一个 Region 的两个副本一定分散到两个节点上。 最终效果如下：虽然两个 Write 节点的 Store Score 还是不一样，但是 Region 是平均分配的。 [image]

[terry0219]

按照您提供的方法试了下给tiflash节点打标签后，重新添加副本后，负载问题依然存在