加快数据的导入速度

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0.9
  • 【问题描述】: y现在有一个mysqldump出来的数据文件,dump 的SQL文件都是insert into values 式样的SQL,现在想导入TIDB,请问有什么方法可以加快导入的速度。 不能使用loader

可以使用 tidb-lightning 工具来加速导入数据,该工具直接将数据写入 TiKV,从时效性来说要比 Loader 快很多,已经过大量的线上用户验证,欢迎使用。1个小时大概可以导入 300G

另外目前我们推荐使用 mydumper 导出上游数据。

现在我们已经有一个现成的导出文件了,因为我们这个导出文件涉及到多个实列多个表,在此基础上有什么措施可以优化导入速度吗

已经 dump 出的 sql 文件,也可以使用 loader 导入,控制并发。https://pingcap.com/docs-cn/stable/reference/tools/loader/