lightning 导入数据 OOM

–注意设置 region-concurrency

导入大量数据时,一个并发对内存的占用在 2 GiB 左右,也就是说总内存占用最大可达到 region-concurrency * 2 GiB。region-concurrency 默认与逻辑 CPU 的数量相同。如果内存的大小(GiB)小于逻辑 CPU 数量的两倍或运行时出现 OOM,需要手动调低 region-concurrency 参数以避免 TiDB Lightning OOM。

看一下你得cpu,如果不限制这个参数,lighting使用的总内存就是cpu x 2G,如果超过15GB,就需要限制了,最好控制cpu x 2G是总内存的70%

1 个赞