tidb-lightning工具导入较大数据量时进程被自动杀死:有没有人知道360万以下能正常加载,超过360就进程就被杀死了,啥原因?求教

tidb-lightning工具导入较大数据量时进程被自动杀死:有没有人知道360万以下能正常加载,超过360就进程就被杀死了,啥原因?求教

有可能是资源消耗过高导致的。
你看一下内存大小,还有服务器上的 文件描述符限制 是否合适

|-r 或 --rows|用于开启表内并发加速导出。默认值是 0,表示不开启。取值大于 0 表示开启,取值是 INT 类型。当数据源为 TiDB 时,设置 -r 参数大于 0 表示使用 TiDB region 信息划分区间,同时减少内存使用。具体取值不影响划分算法。对数据源为 MySQL 且表的主键是 INT 的场景,该参数也有表内并发效果。||
|-F 或 --filesize|将 table 数据划分出来的文件大小,需指明单位(如 128B, 64KiB, 32MiB, 1.5GiB)||

加-r -f试下

单个文件有多大?
可以参考文章进行切分:专栏 - TiSplit 切分csv文件 | TiDB 社区

服务器资源不够导致的吧。
1、先一半导入试试,看看服务器监控的资源;
2、资源不够一下子导入这么多肯定会失败。

系统资源咋样

你要么分批次导入试试看呢