Spark学习笔记 --- Stage and Task, Jobs conception

    xiaoxiao2021-03-25  80

    Stage:   是spark 中一个非常重要的概念 ,在一个job 中划分stage  的一个重要依据是否有shuflle 发生 ,也就是是否会发生数 据的重组 (重新组织数据)。在一个stage 内部会有很多的 task 被执行,在同一个stage 中 所有的task 结束后才能根 据DAG 依赖执行下一个stage 中的task. Job :  有很多任务组成,每组任务可以任务是一个stage Task:  是spark 中另一个很重要的概念 ,task 跟 partition  block   等概念紧密相连 ,task 是执行job 的逻辑单元 ,在task 会在   每个executor 中的cpu core 中执行Job 是一个比task 和 stage    更大的逻辑概念,job 可以认为是我们在driver 或是通过spark-submit             提交的程序中一个action ,在我们的程序中有很多action  所有也就对应很多的jobs
    转载请注明原文地址: https://ju.6miu.com/read-13915.html

    最新回复(0)