Spark的 job stage task 的关系和划分

比如如下DAG:

tansform11->tansform12(shuffle)->action1->tansform21->tansform22(shuffle)-> tansform23->tansform24(shuffle) ->action2

如上,会启用2个job,第1个job执行【tansform11->tansform12(shuffle)->action1】,含有1个stage;

第2个job执行【tansform21->tansform22(shuffle)-> tansform23->tansform24(shuffle) ->action2】,含有2个stage;

 

一个job含有多个stage,一个stage含有多个task。

遇到action会划分job,遇到引起shuffle的算子会划分stage

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页