spark笔记(一)之RDD任务划分

一.Driver & Executer

Driver:创建spark上下文对象的应用程序称之为Driver,或者驱动器;只要创建spark上下文对象的类,可以称之为Driver类
    * 功能:发送任务给Executor进行计算
    * 总结:除Executoru算子计算功能之外的代码都属于Driver


Executor:接收任务并执行任务,称之为执行器(也就是说把计算的任务交给执行器,进行计算)
    * 功能:对任务进行计算,把计算结果反馈给Driver
    * 总结:所有算子当中的计算功能全部由Executor来执行的

二.Shuffle & 宽依赖

Shuffle:对数据进行打乱重组的算子,说明进行Shuffle运算。(即为宽依赖)

宽依赖:是划分阶段的一个标准。是需要进行等待的

窄依赖:除了宽依赖其他的都是窄依赖,不需要等待。可以并行的执行每个分区的程序,性能就会得到提高

----------------------------------------------------------------------------------------------------------------------------------

RDD任务切分,中间分为:Application、job、Stage和Task
1)Application:初始化一个SparkContext即生成一个Application

2)Job:一个Action(行动算子)就会生成一个Job

3)Stage(阶段):根据RDD之间的依赖关系的不通过将job划分不同的Stage,遇到一个宽依赖则划分一个Stage。spark程序运行的个数为1+shuffle的个数
        
4)Task(任务):一个Stage(阶段)可以有多个任务(TaskSet),将Stage划分的结果发送到不同的Executor执行,即为一个Task

----------------------------------------------------------------------------------------------------------------------------------

总结:每一层都是1对多的关系
一个Application -> 多个Job
一个Job -> 多个Stage
一个Stage -> 多个Task

你可能感兴趣的