为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
- 【TiDB 版本】:3.0.7
- 【问题描述】:你好,我使用loader导入数据到tidb中,由于是生产环境导入过程中,会使tikv的cpu、IO上升很多,影响正常业务运行,有没有参数控制,可以慢慢导入数据,导入任务不占用那么多系统资源。我目前调整了loader的pool-size = 2 ,从grafana监控看资源占用情况一样很多。
如下图驼峰时为pool-size = 2的导入情况
若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。
yilong
(yi888long)
2
1 个赞
-t是命令行参数, pool-size是文件参数,都是一样的效果,目前相当于就是-t 2
你好,附件是完整的导入日志loader.log.tar.gz (253.6 KB)
21号 10:56 之后的日志,是调整参数为2的情况下的导入日志,之前的日志,是参数为16的日志。
从日志看,参数是生效的。可以从日志并发读取文件看出来
yilong
(yi888long)
7
您好:
这边确认了下,也没有其他参数限速了,loader就是不断的insert。看监控三个服务器也比较均衡,试着改为1试一下吧.