大佬我问一个问题 如果物理导入 cpu给够了 速度能到5g 10g吗

[tidb狂热爱好者]

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件：截图/日志/监控】
大佬我问一个问题 如果物理导入 cpu给够了 速度能到5g 10g吗

[连连看db]

io 也有限制

[像风一样的男子]

瓶颈应该是网络和磁盘io
另外 Lightning 可以开启并行导入，多台机器开启多个任务并行导入

在使用 TiDB Lightning 并行导入模式时，为达到最优性能，建议进行如下限制：

• 每个 TiDB Lightning 部署在单独的机器上面。TiDB Lightning 默认会消耗所有的 CPU 资源，在单台机器上面部署多个实例并不能提升性能。
• 每个 TiDB Lightning 实例导入的源文件总大小不超过 5 TiB
• TiDB Lightning 实例的总数量不超过 10 个

[Demo二棉裤 (None)]

官方讲是500g/h，我这的经验也就300g/h，应该是跟数据特征有关了，不过已经不慢了，还可以lightning加并行

[江湖故人]

万兆网络的话，瓶颈应该在磁盘IO。

[江湖故人]

300GB/h=85MB/s，1MB算1万行，也有85万/s了，速度相当猛了

[zhanggame1 (Ti D Ber G I13ecx U)]

物理导入还得看硬盘性能

[随缘天空 (Ti D Ber Ivw R7o Pj)]

还是很难的，物理导入一个小时最快也就500G左右，而且估计是各种资源都是高配情况下，普通估计一小时就两三百G

[okenJiang]

老哥，你这要求有点高啊。用并行导入测一下吧。只能横向扩展了，硬件都得拉满才行，还要注意下游 tikv 别被打爆了

[YuchongXU]

网卡，和硬盘，也到不了哈

[forever]

啥数据啊一万行才1M

[像风一样的男子]

多搞几个客户端并行导入理论上能把资源利用率提高

[小龙虾爱大龙虾 (Minghao Ren)]

10g/s的前提是你带宽得够吧

[zhaokede]

带宽,SDD都可能成为瓶颈

[redgame (Ti D Ber Pa Amoi Ul)]

瓶颈是io

[江湖故人]

1万行1M的话，1行大概100Byte，一个字符占1Byte，一个Int占4Byte，可以放不少呢

[forever]

很少单行又这么小的把，我们大的表一行都4k多了

[DBAER (66666)]

这种主要看磁盘io

[源de爸 (Ti D Ber A Od8 Sg Yu)]

io、网络都是可能的瓶颈

[zhang_2023 (Ti D Ber V2 Uo I Fmi)]

io瓶颈得考虑