tidb-lightning 是否支持将一个表中数据多次导入到另一个表中,实现数据的多次复制

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:tidb-lightning 是否支持将一个表中数据多次导入到另一个表中,实现数据的多次复制】
【资源配置】
【附件:截图/日志/监控】

没看懂这个需求。:thinking:

其实就是想将一个表中的数据复制多份导入到另一个表中

可以 逻辑导入,换表名就行了。

他应该是想造数据。多次执行insert select 的效果。

一样的 dumpling 导出可以指定 --sql 的,这样想要的内容就可以导出了。

差不多就这意思吧,原表300多万数据 想复制三份导入到一个新表中,能否通过dumping导出 和tidb-lightning导入实现的?

导一次 然后insert select 300w很快的,开帖子的时间没准已经造完了 :stuck_out_tongue_closed_eyes:

表没主键,没唯一约束,重复导入几次呗。模式用tidb

逻辑导入多省事,mysqldump 的时候加上–skip-extended-insert --complete-insert

backend = “tidb” on-duplicate = “replace” tidb-lightning.toml中这么设置吗?

tidb-lightning 重复导入了几次还是第一次导入的数据的

on-duplicate = “replace” 改为 on-duplicate = “ignore”试下,其实按照这种方法应该更快

想是复制一份数据的,多次导入还是第一次导入的数据的

用insert into select 提示 Transaction is too large, size: 104857616 怎么解决的

超大事务限制了,分批插入试试

这种设置的话,如果导入相同的数据,应该是会覆盖,如果是不同的数据应该会插入进去

相同数据如何插入的?

插入的就是相同数据,通过id 单次插入100条就会报Transaction is too large, size: 104857616。不知道是不是tidb默认设置限制?要是的话,能不能通过修改默认配置?


官方文档说是可以调