lightning如何限制资源使用率

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【TiDB 版本】
tidb v4.0.12,
【问题描述】
使用lightning进行导入数据时候,发现资源使用率占用过高。并且可能会导致tidb节点oom,如何进行参数调优控制内存使用率,避免oom

部署拓扑环境:
ip: Roles
192.168.99.61 pd + tikv + ansible + monitor + lightning
192.168.99.62 tidb + pd + tikv
192.168.99.63 tidb + pd + tikv

看到lightning使用local的方式参数如下, 看到涉及到资源消耗的参数如下
[lightning]

index-concurrency = 1
table-concurrency = 1
region-concurrency = 1
io-concurrency = 1

[tikv-importer]
backend = “local”
range-concurrency = 1

这几个参数该分别如何理解呢?哪些参数是进行生成sst文件,哪些参数是将sst导入tikv

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-configuration#tidb-lightning-全局配置

建议参考一下参数介绍文档,另外如果 TiDB OOM ,需要定位一下具体的原因和问题,比如 OOM TiDB server 是否有其他的负载情况。

因为tidb和lightning是混合部署的, 所以想限制一下lightning使用内存资源大小,试过导入 共19G的sql文件,每个sql文件80Mb大小,concurrency的值全部设置为1,看到lightning进程最高消耗内存是1g , region-concurrency 慢慢调大,看到这个参数与消耗内存大小是成正比的, 所以想看看有没有计算方式

我看配置是单线程的,可以参考一下这个介绍。https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-backends