为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
- 【TiDB 版本】:3.012
- 【问题描述】: 通过文件的方式,向tidb导入数据,速度100条/s ,利用kettle向tidb导入数据,速度40条/s 若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出打印结果,请务必全选并复制粘贴上传。
为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
你好,
请提供服务器配置和集群拓扑
提供使用工具详情,lighting?
你好,
是否是用的是 tidb lighting 导入的呢?
https://pingcap.com/docs-cn/stable/reference/tools/tidb-lightning/csv/
不是。我是利用kettle导的数据。
你好,
目前 tidb 有很多的生态工具,以下链接为生态工具使用指南,可以根据自己的需求去使用。
另外在《tidb in action》 中也有很多示例可供参考。
https://book.tidb.io/session4/chapter5/data-migration.html
https://pingcap.com/docs-cn/stable/reference/tools/user-guide/
只能使用tidb生态工具才能提升导入速度吗,我现在使用的是kettle,因为我需要对数据做一些处理。
你好,
根据配置感觉服务器并不是速率瓶颈,也可以将 overview 监控粘贴出现确认下。
可以看下下面的连接,看是否能提供帮助
https://book.tidb.io/session4/chapter6/tidb-with-hbase-es-druid.html
你好,
看文档试下吧,我们对 kettle,不是很了解,可以根据上面的文档调优试下~
我想问的是tidb这一块如何调优呢,因为是向tidb插入数据太慢,我用命令将csv格式的数据导入到tidb,插入速度也只有100条/s
你好,
麻烦提供下完整 overview 的截图吧,上面的不是很全
(1)、chrome 安装这个插件 https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl
(2)、鼠标焦点置于 Dashboard 上,按?可显示所有快捷键,先按 d 再按 E 可将所有 Rows 的 Panels 打开,需等待一段时间待页面加载完成。
(3)、使用这个 full-page-screen-capture 插件进行截屏保存
如果是 csv 这边还是建议使用 lighting 导入会快很多
https://book.tidb.io/session2/chapter2/lightning-internal.html
你好,
尝试 tikv 均部署在 ssd 硬盘上,tidb 也是存在木桶效应(最差的服务器即为瓶颈),不知道服务器是多少 core ,可以尝试单机多实例部署。
检查下 31.9 服务器是否存在其他服务,cpu 和 内存使用很高。
31.9上装了oralce数据库
你好,
因为目前只有两台 ssd 服务器,tikv 对磁盘要求较高,当批量导入数据时会消耗很大的磁盘性能,从刚才的截图看,当前集群还是比较空闲的,但是 tikv cpu 尖端已经达到 45% 左右,所以可能成为集群的瓶颈
单从 tidb 集群角度出发,建议 ssd 部署单机多实例 tikv,pd、tidb 可以和oracle 放在 机械硬盘上,看是否改善一下集群导入数据慢的情况。 当然这也需要你来权衡~
你好,
图片不是很清晰,可否麻烦重新上传?