dumpling 导出数据文件过小

dumpling -u root -P 4000 -h 127.0.0.1 --filetype sql -t 8 -o /mnt/sdc/data/back/ -r 200000 -F 256MiB -p

tiup dumpling -F 256MB …
其中 -F 参数后面紧跟文件大小限制值,单位为 MiB。

你可以看看只设置这个内容的结果呢?

会不会都是小表,所以导出文件比较小

这是同一个表的文件

tiup dumpling -u root -P 4000 -h 127.0.0.1 --filetype sql -t 8 -o /tmp/test -r 200000 -F 256MiB

把-r 200000去掉试试。

你就只加一个-F试试呢,把那个行数去掉

因为 -r 对 region 做了优化,导出出来的文件和 region 大小也有关系,可能你的表被分成了小 region。如果你去掉 -r 的话,应该就不会这么小了,而是按照 -F 的大小导出。但是去掉 -r 之后导出速度可能会下降。

测试的话,可以都试试。具体按你的需求来使用

默认region是96M,调大region其实对于生产环境,官方其实也是比较慎重的。但dumpling根据region大小来作为文件大小,虽然后续会对做lightning导入时有好处,但是对于日常的备份其实不太友好,虽然您会说使用BR备份,但对于一些老版本,BR是不适合或不成熟的。使用dumpling产生巨大的文件数量,对于OS、filesystem都是考验。这个pingcap在最开始设计时是怎么考虑的呢?