Spark学习笔记 --- Spark中的Shuffle

    xiaoxiao2021-03-25  149

    这几天在理解Spark的时候找了大量的网络文章,这里还看到几篇,在这里我做一个关于Spark的总结

    首先与Hadoop的Shuffle进行对比,Spark的Shuffle是根据Spark的逻辑设计的。

    首先看一下Hadoop的Shuffle。

    可以理解为执行Map函数与执行Reduce函数中间的核心过程叫做Shuffle。

    再来看Spark的Shuffle,

    转载请注明原文地址: https://ju.6miu.com/read-9156.html

    最新回复(0)