TiDB 导入数据

【 TiDB 使用环境】测试
【 TiDB 版本】v7.3.0
【遇到的问题:问题现象及影响】
有没有什么办法让TiDB导入不是由dumpling导出的sql脚本,类似用navicat导出的sql脚本。

sql脚本难道不是直接执行就行吗?

包含数据的脚本,数量级比较大,希望能由方法提高速度

navicat导出的sql只能单线程导入,而且用navicat导出说明数据量不会太大,想快点还是用dumpling或者br吧

1 个赞

上游提供的sql脚本有20多g,未来还会更大,目前也不支持使用dumpling访问源数据库,没有办法

手工split为多个文件,然后按lightning的格式命名文件

那估计确实得写脚本把sql文件切割成dumpling导出的那种meta文件和sql文件了,不然你一个文件,也没法并行啊。。。

好吧,谢谢大家了

20G的sql insert脚本 这是要给Tidb做压力测试么 :smile:,把文件切分成多个导入到不同的表,最后把多个表数据合并到一起,能用分区表也行

lightning用下

上游导出的数据格式能否改成csv,lightning支持导入csv文件

用navica导出选csv,比sql更快,建表提前建好就行,然后llightning导入

:rofl:上游提供的人也是人才,navicat 20G导到本地得多慢。建议还是从源头上解决,不管是分割sql文件还是什么的也都挺麻烦的,或者用navicat导出csv倒是也行,不过导出肯定还是比dumpling慢很多。

navicat 20G导到本地得多慢 也没多慢,我测试导出到自己笔记本大概每秒10万条,单表不到10分钟一个G
navicat可以多开几个窗口并发快很多,开两个窗口就能不到5分钟1G

:rofl:这还不慢吗

自己找个导出csv的工具,应该有更快的

为啥不去服务器上mysqldump导出 不是更快吗