技术咨询,TiDB能否备份数据为parquet格式

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】7.1.0

【遇到的问题:问题现象及影响】
技术咨询,TiDB能否备份数据为parquet格式

可以导入parquet格式,但不支持备份为parquet格式。

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-data-source#parquet

第一次听说,哎,格局小了。

看场景,parquet 主要给 aurora 或其他异构数据库迁移 tidb 使用

TiDB 目前支持的数据备份格式包括 SQL 和 CSV,并没有直接提供将数据备份为 Parquet 格式的功能

是的,

这格式受众也不少,尤其是云厂商+s3类型 做归档、做静态备份时,成本会很低,是有需求的。

1 个赞

是,
如果能备份成parquet,那其他异构库,就能直接访问冷数据,不用冷数据存在tidb集群中了,达到降本目的。

有需要的话,可以在需求板块或者git上提需求

https://github.com/pingcap/tidb/issues

1 个赞

其实直接导出成 CSV 格式也可以吧? 基本上大数据框架都是支持 CSV 格式的。

不支持了