tidb 导入速度测试

通过mysql < sql ,导入3G的文件
v5.4.0的时间是v4.0.8的2倍多
用tidb-lightning 导入全部文件的话,v5.4.0的速度比4.0.8 快一点


1 个赞

请问问题是什么?
如果是分享测试的经验的话,最好说明,每个文件多大、总文件数量、local 导入还是 tidb 导入、不同机器配置是否一直。不同参数带来的导入速度是不同的,受很多变量影响。

3G文件导入这么久,机器配置怎样?

机器配置16c,64G,同一台openstack 分配出来的虚拟机

我的问题是,一样的参数机器配置,v4.0.8 导入sql文件的速度比v5.4.0 快2倍多。
截图里不是很清晰吗,文件3G,总数据量700多万

首先,你这是 2 个问题:

  1. 为什么 execute sql 在 v5 快;
  2. 为什么 lightning 在 v5 慢;

虚拟机底层的 IO 有没有资源抢占问题,如果是 lightning 导入配置文件是什么?配了哪些参数?如果其他变量在 2 个版本下都一致,那 2 个集群的 metrics 都看了吗,有没有 tikv 测的问题?

分析问题,哪有一个问题哪有不给已知条件,直接给出答案的。我要是问你 v4 OOM ,为啥 v5 不 OOM,你就能直接回答?

1 个赞

要做基准测试一些必要条件是需要考虑