tidb-lightning oom

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

tidb 7.1.5 使用tidb-lightning 导入数据的时候报错 使用load模式
[root@bjx-152-30-42 tidb]# head -n 30 nohup.out
Verbose debug logs will be written to tidb-lightning-5.log

±–±---------------------------------------------±------------±-------+
| # | CHECK ITEM | TYPE | PASSED |
±–±---------------------------------------------±------------±-------+
| 1 | Source csv files size is proper | performance | true |
±–±---------------------------------------------±------------±-------+
| 2 | the checkpoints are valid | critical | true |
±–±---------------------------------------------±------------±-------+
| 3 | table schemas are valid | critical | true |
±–±---------------------------------------------±------------±-------+
| 4 | all importing tables on the target are empty | critical | true |
±–±---------------------------------------------±------------±-------+
| 5 | Cluster version check passed | critical | true |
±–±---------------------------------------------±------------±-------+
| 6 | Lightning has the correct storage permission | critical | true |
±–±---------------------------------------------±------------±-------+
| 7 | no CDC or PiTR task found | critical | true |
±–±---------------------------------------------±------------±-------+

fatal error: out of memory allocating heap arena metadata

runtime stack:
runtime.throw({0x5258650?, 0x0?})
/usr/local/go/src/runtime/panic.go:1047 +0x5d fp=0x7f1dea221ca0 sp=0x7f1dea221c70 pc=0x18f363d
runtime.(*mheap).sysAlloc(0x8569d80, 0xf7ffffffff?, 0x8579f18, 0x1)
/usr/local/go/src/runtime/malloc.go:725 +0x357 fp=0x7f1dea221d38 sp=0x7f1dea221ca0 pc=0x18c5617
runtime.(*mheap).grow(0x8569d80, 0x5e0?)
/usr/local/go/src/runtime/mheap.go:1472 +0x7f fp=0x7f1dea221db0 sp=0x7f1dea221d38 pc=0x18e2f1f
runtime.(*mheap).allocSpan(0x8569d80, 0x5e0, 0x0, 0xe3?)

nohup.out (54.8 MB)

145G /data/sorted-kv-dir-5/

我之前7.1.1版本也oom,换了7.5.1, 集群也升级到了7.5.1

7.5.1 之后就没有这个问题了吗?

我的问题解决了

目前的解决办法

region-concurency 调低 但内存消耗还是很高。
后来进行拆表导入 内存就很平稳 。

但没有从根本上解决 如果表大 数据量多 那么消耗的内存应该还是高的

如果是官方做了优化 比如7.5.1解决了这个问题 也可以说一下

7.5.1好像确实有对lightning方面的优化。