dumpling导出MySQL数据指定-F大小为256MiB,实际导出文件大小3G

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【概述】
dumpling导出数据指定-F大小为256MiB,实际导出文件大小3G

【问题】
./dumpling -h 127.0.0.1 -u dba_admin -P 8001 -p --filetype sql -t 8 -r 200000 -F 256MiB -B wjqtest -o /data/tidb_backup/wjqtest

【TiDB 版本】
v4.0.5


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1 个赞

是不是可以调整这这个参数…

  • -r 用于指定单个文件的最大行数,指定该参数后 Dumpling 会开启表内并发加速导出,同时减少内存使用。

如果-r和-F参数同时指定,哪一个会生效呢?感觉-F就没有生效

–filesize 换成这种试试,多谢。
-r 是最大值,理论上来说应该是 --filesize 会控制。
dumpling 和 集群都是 v4.0.5 吗?

好的,我试一下,dumpling 和 集群都是 v4.0.5 版本,同一个版本

  • 建议先 analyze table 一下再进行导出。在切分 chunk 的时候 dumpling 是基于 explain 进行总行数的评估,因此统计信息不准有可能会导致切分这块不准确导致一个文件过大的问题。
  • -F 和 -r 同时指定的话。会按照 -r 的参数来进行切分。

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。