txt或csv文件导入到tidb集群的工具有哪些

【 TiDB 使用环境】测试环境
【 TiDB 版本】5.2.2
【遇到的问题】除了lightning、load data、navicat,还有哪些工具能够把txt或者csv文件导入到tidb中呢

是用常见的工具导入遇到问题了吗?

不是,调研一下有没有别的工具:joy:

这个快,可以通过调整并发把速度提上来,直接通过 TiKV 导入。

嗯嗯,目前来说,理论上是lightning最快了,其他就算有第三方工具,如果都是通过逻辑导入,应该都没lightning快了吧,但是唯一有点麻烦的是,如果我的业务需求是用脚本批量自动导入文件数据,这样涉及到配置文件修改,就挺麻烦的了,因为文件数据是分批接收,分批导入的

目前来说,没有比lightning更好的了。

我们是自己写代码,多线程多表并发导入数据。

不知道外部表算不算

可以把“涉及到配置文件修改”这个场景仔细讲一下?如果比较通用可以考虑开发新特性,就算不能也可以给点建议

业务上是通过web端批量调起脚本来做批量导入数据的功能,这样的话, 用load data的方式比较好写脚本,也比较好处理报错,如果用lightning,每次导入数据,我都需要去修改lightning的配置文件,然后再启动lightning。业务场景是批量多个文件分批导入,而且文件名不是dbname.tablename这种

1 Like

可以查看以下内容解决你的疑问

TiDB 工具功能概览

TiDB 提供了丰富的工具,可以帮助你进行部署运维、数据管理(例如,数据迁移、备份恢复、数据校验)、在 TiKV 上运行 Spark SQL。请根据需要选择适用的工具。

https://docs.pingcap.com/zh/tidb/stable/ecosystem-tool-user-guide#tidb-工具功能概览

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。