导入1.6T单表csv文件,Tidb-lightning内存溢出,如何调节参数

为提高效率,提问时请尽量提供详细背景信息,问题描述清晰可优先响应。以下信息点请尽量提供:

  • 系统版本 & kernel 版本】centos7.5
  • TiDB 版本】3.0.4
  • 磁盘型号】组件所在节点,共享存储4T,126G内存。
  • 集群节点分布】4个tidb节点,40个tikv实例(10台服务器),其中,tidb-lightning和tikv-importer和tidb部署在同一节点
  • 数据量 & region 数量 & 副本数】导入1.6T文件,region数量12.6w,副本数为3个
  • 问题描述(我做了什么)】之前曾导入1.4T数据,导入成功。追加到1.6T时内存溢出。
  • 关键词】tidb-lightning,内存溢出,csv文件导入。

主要报错

[error] [restore engine failed]…[error=“rpc error: code = unknown desc = ResourceTemporarilyUnavailable”{“Too many open engines”}]

你好。请参考ResourceTemporarilyUnavailable(“Too many open engines“) 进行参数调整以及排查。