向tidb导入csv文件期间,报错:连接丢失 ERROR 2013 (HY000): Lost connection to MySQL server during query

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【遇到的问题】
我想向tidb中导入csv文件,运行命令经过大约20分钟以后,报错:连接丢失

ERROR 2013 (HY000): Lost connection to MySQL server during query
【复现路径】做过哪些操作出现的问题
【问题现象及影响】

【附件】

请提供各个组件的 version 信息,如 cdc/tikv,可通过执行 cdc version/tikv-server --version 获取。

我要导入的csv文件有9G,非常大,所以需要的导入时间很长。tidb是不是有什么查询时间的限制,才导致导入一定时间以后断开连接呢?谢谢

oom了吧 ,看下tidb 内存监控、uptime 。批量 导入时可以开下batch_dml 小批量提交 控制内存

max_allowed_packet 这个参数调大点试试

谢谢,确实是oom了。我查服务器的进程日志发现的。

好的。我想调成9G,但是重启tidb以后,发现只调到了1G,或许tidb这个参数最高的值就是1G吧

可以把文件手工切分下,然后再导入,还可以并行导入

谢谢大家的解答,我通过查内存日志已经确定是oom的问题了。我将虚拟机内存从16G调成了32G,但也只是推迟了它oom的时间而已,最终还是oom了,并且导入的速度仍然非常缓慢。或许是因为tidb对机器的配置要求非常高吧,我的机器不是ssd的。

你需要这篇文章:

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。