数据导入太慢

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.012
  • 【问题描述】: 通过文件的方式,向tidb导入数据,速度100条/s ,利用kettle向tidb导入数据,速度40条/s 若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出打印结果,请务必全选并复制粘贴上传。

你好,

请提供服务器配置和集群拓扑

提供使用工具详情,lighting?

服务器:3台,配置:内存:32G,cpu:i7 9代,2台固态,1台机械硬盘(192.168.31.171),1

你好,

是否是用的是 tidb lighting 导入的呢?
https://pingcap.com/docs-cn/stable/reference/tools/tidb-lightning/csv/

不是。我是利用kettle导的数据。

你好,

目前 tidb 有很多的生态工具,以下链接为生态工具使用指南,可以根据自己的需求去使用。

另外在《tidb in action》 中也有很多示例可供参考。

https://book.tidb.io/session4/chapter5/data-migration.html
https://pingcap.com/docs-cn/stable/reference/tools/user-guide/

只能使用tidb生态工具才能提升导入速度吗,我现在使用的是kettle,因为我需要对数据做一些处理。

你好,

根据配置感觉服务器并不是速率瓶颈,也可以将 overview 监控粘贴出现确认下。

可以看下下面的连接,看是否能提供帮助

https://book.tidb.io/session4/chapter6/tidb-with-hbase-es-druid.html

你好,

看文档试下吧,我们对 kettle,不是很了解,可以根据上面的文档调优试下~

我想问的是tidb这一块如何调优呢,因为是向tidb插入数据太慢,我用命令将csv格式的数据导入到tidb,插入速度也只有100条/s

你好,

麻烦提供下完整 overview 的截图吧,上面的不是很全
image

(1)、chrome 安装这个插件 https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl

(2)、鼠标焦点置于 Dashboard 上,按?可显示所有快捷键,先按 d 再按 E 可将所有 Rows 的 Panels 打开,需等待一段时间待页面加载完成。

(3)、使用这个 full-page-screen-capture 插件进行截屏保存

如果是 csv 这边还是建议使用 lighting 导入会快很多
https://book.tidb.io/session2/chapter2/lightning-internal.html

你好,

  1. 尝试 tikv 均部署在 ssd 硬盘上,tidb 也是存在木桶效应(最差的服务器即为瓶颈),不知道服务器是多少 core ,可以尝试单机多实例部署

  2. 检查下 31.9 服务器是否存在其他服务,cpu 和 内存使用很高。

31.9上装了oralce数据库

你好,

因为目前只有两台 ssd 服务器,tikv 对磁盘要求较高,当批量导入数据时会消耗很大的磁盘性能,从刚才的截图看,当前集群还是比较空闲的,但是 tikv cpu 尖端已经达到 45% 左右,所以可能成为集群的瓶颈

单从 tidb 集群角度出发,建议 ssd 部署单机多实例 tikv,pd、tidb 可以和oracle 放在 机械硬盘上,看是否改善一下集群导入数据慢的情况。 当然这也需要你来权衡~

你好,我看了一下overview, tikv cpu 没有达到 70%
31.8的图片


31.9的图片

你好,

更正下,间断 45%左右,

可以将导数据期间的监控上传看下,目前看到集群没什么压力哈。

你好,

图片不是很清晰,可否麻烦重新上传?