Lightning tidb-backend 导入时是否会进行 scatter?

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
v3.0

【概述】 场景 + 问题概述

我们需要用 Lightning 的 tidb-bacnend 每天将一批数据同步到 TiDB 中 (每次写入一张新表),文档中看到如果表创建后马上进行批量写入的话会因为 Region 来不及分散造成写入热点,不知道 lightning 对此有没有做处理,比如确保新建的表已经 scatter 完成才执行写入?

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-backends#tidb-lightning-tidb-backend

可以看下这里的操作指南以及FAQ

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-faq

这里看过了,没有找到这个问题的答案

lightning 的 tidb-backend 模式应该不会自动去打散 region ,可以尝试先手工在建表语句中加上 SHARD_ROW_ID_BITS 和 PRE_SPLIT_REGIONS 选项,这样通过 tidb-backend 模式加载数据时可以打散下热点。

谢谢回答。SHARD_ROW_ID_BITS 和 PRE_SPLIT_REGIONS 已经加上了,我们准备把表的 schema 和 csv 放到一个文件夹中按规则命名好,让 lightning 去建表。这样就 OK 了是吧

应该没啥问题,你可以具体测试下。

OK,我们试一下

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。