tidb-lightning 导入数据过慢

Hacker_lqNVmgtF · 2020 年3 月 5 日 09:43

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

数据量：77G csv

使用官网默认的配置进行导入时，import 所在数据盘只有100G，在导入的时候会报空间不足。
后按照官网的配置进行修改

1、lightning 和tidb-server部署在一起（16C 32G 千兆网卡）
2、import 和部署到其中一台tikv上（16C 32G SSD 千兆网卡）

修改配置后感觉效率变低，import 所在的服务器cpu 的使用率只有 35% 左右，修改配置之前是 180%

1、在现有的配置下，能否有更优的方案？目前是新环境，不需要考虑是否对业务有影响。
2、麻烦帮忙看一下import cpu使用率很低？

配置文件见附件，麻烦帮忙看一下！谢谢！

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

GangShen · 2020 年3 月 5 日 10:05

import 使用时对于磁盘的负载比较高，所以建议使用高性能的磁盘，在导入数据的时候对于 tikv 节点的写入压力也是比较高的，所以可以检查一下服务器磁盘使用情况，是否达到瓶颈，可能是磁盘瓶颈导致 CPU 使用率无法上去。

Hacker_lqNVmgtF · 2020 年3 月 5 日 10:09

import的磁盘是ssd的，现在的磁盘使用率很低。

GangShen · 2020 年3 月 5 日 11:44

lightning 和 import 机器的网卡流量怎么样？
可以先排查一下硬件资源是否达到瓶颈，如果硬件资源没有瓶颈，可以看下 lightning 的监控，看下资源使用情况。

因为你的性能下降是调整了部署的服务器，大概率是因为服务器某些资源达到瓶颈导致的。