loader导入数据问题

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:Version: v3.0.7
  • 【问题描述】:用mydumper导出1T左右的数据,用loader导进去,从日志上来看花了2二加3个小时,正常吗?有加快速度的解决方案吗? 开始日志: 2020/01/03 17:46:09 printer.go:52: ESC[0;37m[info] Welcome to loaderESC[0m 2020/01/03 17:46:09 printer.go:53: ESC[0;37m[info] Release Version: v1.0.0-60-g116fc05ESC[0m 2020/01/03 17:46:09 printer.go:54: ESC[0;37m[info] Git Commit Hash: 116fc0539adf23faafc1a6d4d12b301a60bb4f2aESC[0m 2020/01/03 17:46:09 printer.go:55: ESC[0;37m[info] Git Branch: masterESC[0m 2020/01/03 17:46:09 printer.go:56: ESC[0;37m[info] UTC Build Time: 2019-02-21 02:37:18ESC[0m

结束日志: 2020/01/05 21:46:48 loader.go:108: [debug] [loader] worker 4 execution goroutine exits 2020/01/05 21:46:48 loader.go:108: [debug] [loader] worker 12 execution goroutine exits 2020/01/05 21:46:48 loader.go:378: [debug] all workers has been closed 2020/01/05 21:46:48 main.go:88: [info] loader stopped and exits

原因

1 T 数据迁移方案,loader 导入耗时的确太长,因为需要从 tidb-server 走一次解析这个耗时很长。

解决方法

建议使用 Lightning 工具完成数据导入操作,该工具直接将数据写入 TiKV,从时效性来说要比 Loader 快很多,已经过大量的线上用户验证,欢迎使用。