降低loader导入时,CPU、IO消耗

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0.7
  • 【问题描述】:你好,我使用loader导入数据到tidb中,由于是生产环境导入过程中,会使tikv的cpu、IO上升很多,影响正常业务运行,有没有参数控制,可以慢慢导入数据,导入任务不占用那么多系统资源。我目前调整了loader的pool-size = 2 ,从grafana监控看资源占用情况一样很多。

如下图驼峰时为pool-size = 2的导入情况

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

您好:预格式化文本

参考下文档,试试-t参数,默认是16,降低参数试试

1赞

-t是命令行参数, pool-size是文件参数,都是一样的效果,目前相当于就是-t 2

  1. 是的,可以反馈下loader使用pool-size=2 和默认 导入的日志吗? 2. 请你使用-t是觉得是否配置文件没有生效,所以是否方便测试一下,看看效果?

你好,附件是完整的导入日志loader.log.tar.gz (253.6 KB)

21号 10:56 之后的日志,是调整参数为2的情况下的导入日志,之前的日志,是参数为16的日志。

从日志看,参数是生效的。可以从日志并发读取文件看出来

看日志中:

  1. 修改前pool-size:16, 修改后为2, 日志中显示读取的文件数量也从16下降到了2, 请尝试改为1测试
  2. 我在确认下是否还有其他参数,稍后答复,多谢

您好: 这边确认了下,也没有其他参数限速了,loader就是不断的insert。看监控三个服务器也比较均衡,试着改为1试一下吧.