版本5.0.0
实测下来lighting的速度差不多每小时7个GB
看到官网上说 https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-faq/#tidb-lightning-导入速度太慢
“TiDB Lightning 的正常速度为每条线程每 2 分钟导入一个 256 MB 的数据文件,如果速度远慢于这个数值就是有问题。导入的速度可以检查日志提及 restore chunk … takes
的记录,或者观察 Grafana 的监控信息。”
这个记过和我测试的差不多。
但是官网另一篇文章又说tidb-backend能到50GB/小时
https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-backends#tidb-lightning-tidb-backend
后端 | Local-backend | Importer-backend | TiDB-backend |
---|---|---|---|
速度 | 快 (~500 GB/小时) | 快 (~400 GB/小时) | 慢 (~50 GB/小时) |
资源使用率 | 高 | 高 | 低 |
占用网络带宽 | 高 | 中 | 低 |
导入时是否满足 ACID | 否 | 否 | 是 |
目标表 | 必须为空 | 必须为空 | 可以不为空 |
额外组件 | 无 | tikv-importer | 无 |
支持 TiDB 集群版本 | >= v4.0.0 | 全部 | 全部 |
是否影响 TiDB 对外提供服务 | 是 | 是 | 否 |
请问是否自相矛盾,如何能做到50GB/小时
tidb-backend能否并行lighting?