为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【TiDB 版本】
tidb v4.0.12,
【问题描述】
使用lightning进行导入数据时候,发现资源使用率占用过高。并且可能会导致tidb节点oom,如何进行参数调优控制内存使用率,避免oom
部署拓扑环境:
ip: Roles
192.168.99.61 pd + tikv + ansible + monitor + lightning
192.168.99.62 tidb + pd + tikv
192.168.99.63 tidb + pd + tikv
看到lightning使用local的方式参数如下, 看到涉及到资源消耗的参数如下
[lightning]
…
index-concurrency = 1
table-concurrency = 1
region-concurrency = 1
io-concurrency = 1
…
[tikv-importer]
backend = “local”
range-concurrency = 1
这几个参数该分别如何理解呢?哪些参数是进行生成sst文件,哪些参数是将sst导入tikv