tispark查询很慢

用navicat连接tidb,执行sql查询,只用了0.6秒就可以出来结果

用spark-sql 足足花了43秒钟

如何进行调优呢

1赞

需要查看一下对应的执行计划,针对性做一下优化。通过反馈猜测,TiDB Server 执行应该是可以用到索引的,Tispark 没有走到索引,采用暴力扫方式导致时间比较长。可以通过 explain analyze 查一下对应的执行计划情况,

1赞

spark 提交、执行、退出 等都需要时间,如果你的要求在1分钟内(TiDB 满足),还是使用SQL查询吧,spark 更多是大数据场景下。

1赞

image
这个地方可以直接看执行计划,你看看哪个环节,数据量比较大或者时间比较长?