大数据量数据以txt导入tidb数据库的时候有没有加快其插入速度的方法或者配置

【 TiDB 使用环境】生产环境
【 TiDB 版本】v7.5.1
【复现路径】主要就是将大数据量 18w条数据 80多M
【遇到的问题:问题现象及影响】感觉插入速度有些慢有没有优化的方法
id是自增的id,插入的时候没有插入id,求大佬帮忙解惑

推荐使用etl工具进行导入

好的,谢谢大佬我去看一下

大佬有没有 tidb的原生配置或者说是相关的周边能够解决这个问题,感觉etl是不是主要作用在处理数据,而不是加快导入速度(也可能是我理解不够,这是刚看到的 :joy:

lightning 超快

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-overview

2 个赞

并发批量写

其实你这个数据量不算大,十几万条数据,如果使用tidb周边的话估计需要把txt文件转成csv相关格式才能使用。或者你自己写个程序读取txt文件,然后批量插入速度应该也快。

1 个赞

切片的txt,多个进程插入

80m也不大,直接文本编辑器打开转化成csv格式再导入几分钟就好了。

这个量也不大吧,转成csv,用lightning 导入应该很快的

先转成CSV,然后用lightning就可以了,几分钟的事儿

可以先转成csv,在用lightning 导入

你不会是把要插入的数据都拼成了insert语句了吧。。。。

试试用第三方工具导入一下试试。

txt直接用lightning导入就行,18w行分分钟就完了:

lightningx就可以