比较大的sql文件批量导入tidb

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:V2.1
  • 【问题描述】: 要将比较大的SQL文件(3T)往tidb中导入,是否有好的方法能快速导入的方法?比如是否有类似于hbase,先生成hbase的hfile文件,然后再做一个hbase表映射?不知tidb有类似hbase的这种快速导入大批量数据的方法?

什么数据源导出的 sql 文件啊,说具体点。。

从mysql通过mysqldump 方式导出的文件,要往tidb导入

我觉得如果可以接受放弃那个 sql 文件的话,可以使用 tidb lightning。

你可以看下,注意 部署执行中前两段话。。。。

我们之前空集群用的这个工具还可以,未来可以用 dm 进行同步(如果不着急可以用 dm 慢慢同步~~)