用tidb-lightning能导入压缩文件吗？

TiDBer_RSav8Cg3 · 2023 年4 月 28 日 01:21

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
【资源配置】
【附件：截图/日志/监控】
用mydumper导出的压缩文件，能用tidb-lightning不把文件解压缩导进去吗

caiyfc · 2023 年4 月 28 日 01:28

新版本的lighting支持把dumpling导出的压缩文件导入到集群中，使用mydumper导出的压缩问题还没测试过，建议选个小表测试一下

TiDBer_pkQ5q1l0 · 2023 年4 月 28 日 01:37

dumping压缩的是可以的。

xingzhenxiang · 2023 年4 月 28 日 02:04

dumping压缩的是可以的，为啥v5.4还用mydumper啊

TiDBer_RSav8Cg3 · 2023 年4 月 28 日 02:58

lightning是6.3.0的版本才能导入压缩的文件吗

tidb菜鸟一只 · 2023 年4 月 28 日 06:53

6.1之后开始支持的

Hacker_xUwtuKxa · 2024 年11 月 28 日 08:40

我用lightning 6.5的版本，但是数据库是tidb5.4的，也是不行的。
官文中说明了tidb6.4.0及之后的tidb lightning支持后缀为压缩算法gzip、snappy、ztsd。我实测要求数据库与lightning工具都在6.4之后的版本才行。

kevinsna · 2024 年11 月 30 日 07:14

TiDB Lightning v6.5.0 及以上版本支持直接使用 Dumpling 压缩文件作为数据源导入，无需额外配置