lightning ["file is too big to be processed efficiently; we suggest splitting it at 256 MB each"]

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:
    v4.07 aws eks 里部署

  • 【问题描述】:

[2020/11/12 01:48:54.032 +00:00] [WARN] [region.go:190] [“file is too big to be processed efficiently; we suggest splitting it at 256 MB each”] [file=etl_mws.report_customtransaction.sql] [size=3762736283]

要怎么split,文件使用mydumper导出来之后,然后要怎么split,才用什么样的命名格式?

看到log上显示的速度似乎并不快
[2020/11/12 01:54:38.636 +00:00] [INFO] [restore.go:601] [progress] [files=“19/32 (59.4%)”] [tables=“23/38 (60.5%)”] [speed(MiB/s)=15.098817312398081] [state=writing] [remaining=10m16s]

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

如果源数据是 CSV 格式文件,可以参考下面文档进行下切分:
https://docs.pingcap.com/zh/tidb/stable/migrate-from-csv-using-tidb-lightning

导出来的是SQL格式的,要怎么处理

目前 tidb-lightning 应该只支持自动切分 CSV 文件,SQL 文件建议在上游导出时就预先切分成每个文件 256 MB ,比如在使用 dumpling 导出时指定配置项 “ -F 256MiB ”。