TiDB 的问答社区
spark读取tidb,所有select出来的数据都在一个executor中,最后导致了oom
🪐 TiDB 技术问题
tidb
zhouzeru
2023 年7 月 10 日 01:42
4
如果一次查询返回的数据量非常大,可能会导致 Spark executor 内存不足,从而触发 OOM 错误。在这种情况下,需要优化查询语句,将查询条件精确到最小范围,以减少返回的数据量
在话题中显示帖子
©2023 TiDB Community.
京ICP备20022552号-5
京公网安备11010802043344号