tispark查询很慢

Hacker_j9odkS8a · 2021 年12 月 28 日 08:08

用navicat连接tidb，执行sql查询，只用了0.6秒就可以出来结果

用spark-sql 足足花了43秒钟

如何进行调优呢

Lucien-卢西恩 · 2021 年12 月 28 日 15:13

需要查看一下对应的执行计划，针对性做一下优化。通过反馈猜测，TiDB Server 执行应该是可以用到索引的，Tispark 没有走到索引，采用暴力扫方式导致时间比较长。可以通过 explain analyze 查一下对应的执行计划情况，

aierui · 2021 年12 月 29 日 03:57

spark 提交、执行、退出等都需要时间，如果你的要求在1分钟内（TiDB 满足），还是使用SQL查询吧，spark 更多是大数据场景下。

数据小黑 · 2021 年12 月 29 日 09:22

这个地方可以直接看执行计划，你看看哪个环节，数据量比较大或者时间比较长？

边城元元 · 2022 年3 月 5 日 16:56

看一下执行计划和监控

Running · 2022 年12 月 21 日 05:15

什么场景下需要用spark？

system · 2023 年2 月 19 日 05:15

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。