经过深思,我打算把dumpling备份类型从csv改为sql

虽然tidb备份为csv格式可以减少一定的磁盘空间占用,但是为了方便后期lightning导入减少对csv格式参数指定的麻烦设置,以及防止数据导入引起格式错误问题,我想采用sql类型。

[mydumper.csv]
separator = ‘,’
delimiter = ‘"’
terminator = “”
header = false
not-null = false
null = ‘\N’
backslash-escape = true
trim-last-separator = false

确实麻烦。兼容mysqlshell就好了或者开发tiupshell

多数时候用sql呗,csv 也可以用来导入吧,

:thinking:sql感觉确实好一些吧,也能直接执行。

dumpling --filetype sql 时加-c gzip 压缩下,一般情况下 备份出来的文件大概是 压缩前的 1/10 左右

补充下,加了 -c gzip 在lightning恢复时不需要 先做解压缩,可直接恢复

压缩与不压缩有这么大的区别啊,你的数据量大概多少呀

请问加了压缩之后备份和导入的速度会受多大影响?

:thinking:之前我们用mysqldump也是加了gzip,但是没有验证过速度,理论上应该是先备份然后压缩,总体时间会变长吧。

不要考虑导入速度,压缩后导入会有个解压动作,肯定影响点速度,压缩实则是用时间换空间。
备份用在生产恢复上的几率非常小,机率就像100个人被雷击的机率,即使生产挂了,那也是自然灾害,恢复慢点也正常,不可能拿光速来恢复,再说钱不到位,工资不加到位就想催着要速度,那是不可能的。

总结到位