7.5的import into算物理导入还是逻辑导入

tidb狂热爱好者 · 2024 年3 月 12 日 08:08

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件：截图/日志/监控】

前不久刚发布的 7.5 LTS，正式 GA 了一个 IMPORT INTO ( https://docs.pingcap.com/zh/tidb/stable/sql-statement-import-into#import-into ) 的功能，该功能将原本 tidb-lightning 的物理导入能力集成到 TiDB 计算节点上，使用一条 SQL 语句就可以完成大批量数据的导入，大幅简化了超大规模数据写入时的复杂度。

TiDBer_5cwU0ltE · 2024 年3 月 12 日 08:19

借您的帖子，我也研究研究。

WalterWj · 2024 年3 月 12 日 08:27

按照描述，应该和 lightning 一样，解析 csv 文件>> 生成 SST 文件>> import sst 文件到 tikv 中。
算 lightning local 模式导入。更倾向于 “物理导入”。

vincentLi · 2024 年3 月 12 日 08:30

原文有说明：“ IMPORT INTO 语句使用 TiDB Lightning 的物理导入模式，用于将 CSV 、SQL 、PARQUET 等格式的数据导入到 TiDB 的一张空表中。”

副作用太多，因此建议你生产环境谨慎使用。

Kongdom · 2024 年3 月 12 日 13:06

应该是物理导入吧。

这里介绍不了我 · 2024 年3 月 12 日 14:30

借光，有空研究下

changpeng75 · 2024 年3 月 12 日 14:45

直接生成SST文件持久化到TiKV中，而不是生成SQL语句来执行，那就是物理导入了。

YuchongXU · 2024 年3 月 12 日 22:50

物理导入

霸王龙的日常 · 2024 年3 月 13 日 00:03

物理导入

DBAER · 2024 年3 月 13 日 00:27

感觉没啥优势啊

小龙虾爱大龙虾 · 2024 年3 月 13 日 00:57

文档不是写了物理导入了吗

像风一样的男子 · 2024 年3 月 13 日 00:58

是一种物理导入模式，可以不经过 SQL 接口，而是直接将数据以键值对的形式插入 TiKV 节点

像风一样的男子 · 2024 年3 月 13 日 00:59

看官方文档解释是可以不经过sql接口直接插入kv，效率上肯定提升非常大的

opkcloud · 2024 年3 月 13 日 01:05

物理导入

小于同学 · 2024 年3 月 13 日 01:11

应该还是物理导入吧

TiDBer_小阿飞 · 2024 年3 月 13 日 01:13

既然在TIDB server节点，很明显，是属于逻辑导入的，因为不直接导入KV键值对数据
物理导入模式对应的后端模式为 local
逻辑导入模式对应的后端模式为 tidb