TiDB数据写入速度太慢

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:4.0.6
  • 【问题描述】:向TiDB批量写入数据时速度很慢,每秒写入100多条

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出打印结果,请务必全选并复制粘贴上传。

  1. 可以参考调优 map 和 grafana 监控, 看下具体是哪里慢
    TiDB 调优辅助神器 TiDB Performance Map 即将上线!欢迎试用反馈

  2. 如果无法找到,可以上传 over-view,tidb ,detail-tikv 监控

tidb-test-Overview_2020-09-28T07_39_37.606Z.json (816.4 KB)
您好,谢谢回复,上面是导出的over-view监控

麻烦都反馈下

好的,三个页面导出文件如下,还请帮忙看下,是什么原因导致的,目前只是测试集群上进行测试,需要知道是什么原因这样生产环境的时候好避免。tidb-test-TiDB_2020-09-28T09_04_02.940Z.json (1.4 MB) tidb-test-TiKV-Details_2020-09-28T09_03_15.654Z.json (4.8 MB) tidb-test-Overview_2020-09-28T07_39_37.606Z.json (816.4 KB)

tidb 和 detail-tikv 的监控看比较快,over-view 有一段时间比较慢,tidb和tikv的时间取得不对吧。

看了一下确实是的,不好意思,我把3个都重新导出了,选取了今天一天的范围,批量导入的时间应该是在中午11-12点开始到下午2点结束这段时间。tikv-detail的文件内容大于上传限制了。我上传到百度网盘,您下载一下吧,十分抱歉,tidb-test-TiDB_2020-09-28T09_47_25.811Z.json (2.1 MB) tidb-test-Overview_2020-09-28T09_46_57.448Z.json (1.6 MB) 链接: 百度网盘-链接不存在 密码: llae
–来自百度网盘超级会员V3的分享

  1. 90 上只有 2 cpu,配置了 pd ,tidb ,tikv?

  2. 请至少满足测试环境的配置要求,多谢。

好的,多谢。测试环境比较简陋:joy:。TiDB对于资源环境的配置要求是不是还比较苛刻?目前手边也没有满足条件的环境。那想请问下您,如果按照给出的测试环境的配置要求进行批量的数据导入的话大概理论的数据写入速度每秒能达到多少条记录?批量导入的另外TiFlash与tikv两种不同方法进行olap的话数据量达到多少以上差距会比较明显?从原有的Oracle数据库批量导入数据到TiDB有什么比较高效的方式?目前是使用的Kettle来做的etl。

可以参考这里的几个性能测试报告
https://docs.pingcap.com/zh/tidb/stable/benchmark-sysbench-v4-vs-v3

oracle只能导成csv,然后用tilighting. 还有一种方法比较极端,可以尝试一下,是搞一台机器上部署很多个tikv套,然后搞一块虚拟磁盘,把raftstore通过软连接的凡是配到这个虚拟磁盘上(停集群后cp到这个虚拟磁盘上). 高并发的单条insert. 预计速度每加一套tikv预计能加3500的tps

1 个赞