kettle批量写入tidb数据速度慢,但datax同步速度快

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:4.0.6
  • 【问题描述】:kettle批量写入tidb数据速度慢
    使用kettle批量写入数据到tidb,速度很慢,100条/s, 且在流程启动之后速度逐渐下降,使用dataX数据同步时速度可以达到6000条/s,是什么原因?

可以排查下 tidb 的监控,如果 tidb duration 没有很高,那么可以尝试增加并发数试试。
datax是不是并发执行的,kettle 的并发比较小?

kettle可以启用多线程插入,还可以设置提高每次提交数量,还可以设置增大启动内存,还有要设置数据库连接优化参数。
kettle插入真心不慢,慢的是kettle的插入/更新控件

感谢回复,确实增加了并发数之后速度有所提升。

嗯嗯。谢谢了,线程多开之后确实有提升,不过资源消耗也很大了,内存和cpu要求都很高

这个我们也是差不多,所以采用循环增量同步,几分钟同步一次。

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。