降低loader导入时，CPU、IO消耗

[zhengshibing]

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

• 【TiDB 版本】：3.0.7
• 【问题描述】：你好，我使用loader导入数据到tidb中，由于是生产环境导入过程中，会使tikv的cpu、IO上升很多，影响正常业务运行，有没有参数控制，可以慢慢导入数据，导入任务不占用那么多系统资源。我目前调整了loader的pool-size = 2 ,从grafana监控看资源占用情况一样很多。

如下图驼峰时为pool-size = 2的导入情况

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

[yilong (yi888long)]

您好：预格式化文本

参考下文档，试试-t参数，默认是16，降低参数试试
https://pingcap.com/docs-cn/stable/reference/tools/loader/

[zhengshibing]

-t是命令行参数, pool-size是文件参数，都是一样的效果，目前相当于就是-t 2

[yilong (yi888long)]

1. 是的，可以反馈下loader使用pool-size=2 和默认 导入的日志吗？ 2. 请你使用-t是觉得是否配置文件没有生效，所以是否方便测试一下，看看效果？

[zhengshibing]

你好，附件是完整的导入日志loader.log.tar.gz (253.6 KB)

21号 10:56 之后的日志，是调整参数为2的情况下的导入日志，之前的日志，是参数为16的日志。

从日志看，参数是生效的。可以从日志并发读取文件看出来

[yilong (yi888long)]

看日志中：

1. 修改前pool-size:16, 修改后为2， 日志中显示读取的文件数量也从16下降到了2， 请尝试改为1测试
2. 我在确认下是否还有其他参数，稍后答复，多谢

[yilong (yi888long)]

您好： 这边确认了下，也没有其他参数限速了，loader就是不断的insert。看监控三个服务器也比较均衡，试着改为1试一下吧.