lighting 导入数oom,如何配置lighting 内存配置

【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】lighting 导入数oom,如何配置lighting 内存配置
【遇到的问题:lighting 导数据被kill】

【附件:截图/日志/监控】

lighting 导入数据发生oom,如何配置lighting内存使用,我这目前内存64G

lightingoom.txt (8.2 KB)

看看这个帖子,你们一样的报错:
lightning报错“Region distribution is unbalanced, the ratio of the regions” - :ringer_planet: TiDB 技术问题 / 备份&数据迁移 - TiDB 的问答社区 (asktug.com)

1 个赞

限速、限制并发

被限制了

占了60多g内存的吗,lightning参数发出来看下,导入的表有啥特征吗,列很多或者很宽吗?

发下当前配置看看呢

好的,相关配置文件如下,请帮忙诊断一下
tidb-lightning.toml (3.0 KB)

# 目标集群的信息。tidb-server 的地址,填一个即可。
host = "10.19.110.47"
port = 3306
user = "root"
# 设置连接 TiDB 的密码,可为明文或 Base64 编码。
password = ""
# 必须配置。表结构信息从 TiDB 的“status-port”获取。
status-port = 10080

看起来 47 3306 是个负载均衡,47 的 10080 端口能访问到 tidb-server 的 10080 端口不?

# 数据的并发数。默认与逻辑 CPU 的数量相同。
# 混合部署的情况下可以将其大小配置为逻辑 CPU 数的 75%,以限制 CPU 的使用。
# region-concurrency =

可以试试将这个配置小点 :thinking:

我这个47是tidb server 只不过我把默认端口改了
region-concurrency = 我看看这个配置去,谢谢

配置成最小,一点点加

是有大字段?