tidb-lightning 导入数据过慢

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v3.0.8
  • 【问题描述】:

数据量:77G csv

使用官网默认的配置进行导入时,import 所在数据盘只有100G,在导入的时候会报空间不足。 后按照官网的配置进行修改

1、lightning 和tidb-server部署在一起 (16C 32G 千兆网卡) 2、import 和 部署到其中一台tikv上(16C 32G SSD 千兆网卡)

修改配置后感觉效率变低,import 所在的服务器cpu 的使用率只有 35% 左右,修改配置之前是 180%

1、在现有的配置下,能否有更优的方案?目前是新环境,不需要考虑是否对业务有影响。 2、麻烦帮忙看一下import cpu使用率很低?

配置文件见附件,麻烦帮忙看一下!谢谢!

tidb-lightning.toml (2.9 KB) tikv-importer.toml (1.2 KB)

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

import 使用时对于磁盘的负载比较高,所以建议使用高性能的磁盘,在导入数据的时候对于 tikv 节点的写入压力也是比较高的,所以可以检查一下服务器磁盘使用情况,是否达到瓶颈,可能是磁盘瓶颈导致 CPU 使用率无法上去。

import的磁盘是ssd的,现在的磁盘使用率很低。

lightning 和 import 机器的网卡流量怎么样? 可以先排查一下硬件资源是否达到瓶颈,如果硬件资源没有瓶颈,可以看下 lightning 的监控,看下资源使用情况。

因为你的性能下降是调整了部署的服务器,大概率是因为服务器某些资源达到瓶颈导致的。