loader导入数据问题

[starCrush (星碎)]

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

• 【TiDB 版本】：Version: v3.0.7
• 【问题描述】：用mydumper导出1T左右的数据，用loader导进去，从日志上来看花了2二加3个小时，正常吗？有加快速度的解决方案吗？
  开始日志：
  2020/01/03 17:46:09 printer.go:52: ESC[0;37m[info] Welcome to loaderESC[0m
  2020/01/03 17:46:09 printer.go:53: ESC[0;37m[info] Release Version: v1.0.0-60-g116fc05ESC[0m
  2020/01/03 17:46:09 printer.go:54: ESC[0;37m[info] Git Commit Hash: 116fc0539adf23faafc1a6d4d12b301a60bb4f2aESC[0m
  2020/01/03 17:46:09 printer.go:55: ESC[0;37m[info] Git Branch: masterESC[0m
  2020/01/03 17:46:09 printer.go:56: ESC[0;37m[info] UTC Build Time: 2019-02-21 02:37:18ESC[0m

结束日志：
2020/01/05 21:46:48 loader.go:108: [debug] [loader] worker 4 execution goroutine exits
2020/01/05 21:46:48 loader.go:108: [debug] [loader] worker 12 execution goroutine exits
2020/01/05 21:46:48 loader.go:378: [debug] all workers has been closed
2020/01/05 21:46:48 main.go:88: [info] loader stopped and exits

[Lucien]

原因

1 T 数据迁移方案，loader 导入耗时的确太长，因为需要从 tidb-server 走一次解析这个耗时很长。

解决方法

建议使用 Lightning 工具完成数据导入操作，该工具直接将数据写入 TiKV，从时效性来说要比 Loader 快很多，已经过大量的线上用户验证，欢迎使用。
https://pingcap.com/docs-cn/stable/reference/tools/tidb-lightning/deployment/