数据插入太慢

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0.9
  • 【问题描述】: 现有一个存量10亿的表,插入10W的数据,插入速度 100/分钟,对比Mysql 10几秒完成插入,不知道我的姿势哪里不对
    查看了 大数据量情况下(单表数据 630亿)插入性能急剧下降
    但是没发现解决方案, 机器配置: 部署环境为 tidb *3 ,pd *2,tikv *3,全部部署在3台 4C、16G、300G SSD服务器上

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出打印结果,请务必全选并复制粘贴上传。

另外发现表太大了,删除1000条数据都无法执行

这个配置不达标呀~ CPU 资源 4 core 的 tikv 实力是处理不过来这么大的并发写入速度的。

3台4核还不够吗

而且不是并发,时insertbatch

写入再 TiKV 有并发操作的,可以看一下 tidb-map 了解一下 TiDB 的写入流程,另外建议按照官方推荐配置部署 TiDB 集群。

https://github.com/pingcap/tidb-map/blob/master/maps/performance-map.png

https://pingcap-incubator.github.io/tidb-in-action/session3/chapter4/read-write-metrics.html

https://pingcap.com/docs-cn/stable/how-to/deploy/hardware-recommendations/

是按照官方推荐的配置,就能解决写入慢的问题了吗,因为我看了社区的其他写入慢的一些帖子,最后都没有明确的解决问题呢,还是TIDB有其他方式大批量插入数据呢

有的,可以了解一下 Titan 隐形,主要是针对写入性能要求高的场景设计的。