快速地将大量数据导入 TiDB 集群为什么要用DM? 而不建议使用inset?

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
快速地将大量数据导入 TiDB 集群为什么要建议使用DM工具? 而不建议直接使用inset方式直接插入数据?,
用DM的话,不是需要再创建一个mysql数据库来作同步数据源,这样不是更麻烦吗?

理解错了吧,dm 是把 源数据 mysql 的数据同步到 目标库 tidb。

你是什么应用场景

没有这个建议吧。

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-physical-import-mode
快速的大量数据导入,建议是lightning的物理模式。

https://docs.pingcap.com/zh/tidb/stable/dm-best-practices
DM最佳实践里面也强调,数据量小于1T。

DM的主要作用是分表分库的合并。而不是快速导入。

看你的来源是在哪,如果是mysql,那用dm,如果是csv或者sql文件,那用lightning,如果是tidb,那用ticdc

大量数据要插入TIDB,一秒几十M

导入数据就没必要用ticdc了吧,感觉还不如直接用dumpling和lightning

不是导入数据,就是正常程序并发插入数据

没明白,如果是要用程序插入数据,那就只能用insert了。咋会扯到dm呢。如果是sql文件或者csv,就直接用lightning工具了

我明白了,是我理解错了。

用lightning导入sql或者csv
dm是同步用的

DM 工具可以提高数据导入的效率、可靠性和灵活性,同时还能保证数据的一致性和完整性

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。