tidb-lightning迁移数据时总容量要求

【 TiDB 使用环境】生产环境
官方文档说目标 TiKV 集群的总存储空间必须大于 数据源大小 × 副本数量 × 2 。例如集群默认使用 3 副本,那么总存储空间需为数据源大小的 6 倍以上。那么如果我原来在MySQL有1TB的数据,在迁移前TiDB集群至少要求6TB的空余空间,但TiDB不是会对数据进行压缩吗,那么这些空间岂不是还会空余出一大部分?并且在使用lightning导入数据时,官方文档有提到需要创建临时文件夹,如果我现在在有tikv组件的服务器中运行lightning,数据源20g,服务器剩余容量35g,但集群中的总容量有150g,数据导入会成功吗?

这里其实说考虑的最坏情况,实际mysql中有1TB的数据,迁移到tidb3副本大概也就1TB的数据,但是需要考虑到最坏的情况,防止导入中间报错增加工作量。。。

1 个赞

楼主说的对,是会压缩空出来一部分。
压缩比由于数据不同是不同的,最好先导入一部分测试下真实占用,比如先测试100G,给出一个准确的硬盘开销

多留点,环境的数据不同,不一定压多少呢

稳妥点还是按官网配备吧。而且按官网建议,还要尽量预留空间,不低于健康水位使用率。。不然后续迁移完了使用也会出问题呀

2 个赞