另外还试了下,把storage.remote.cache.capacity设置为0,速度会比不为0的时候快很多,16s就结束了。应该是没有写本地磁盘,直接全部放到内存里导致的。 难道是先将数据从S3写入到本地,然后再从本地读到内存里计算么?
storage.remote.cache.capacity