Spark:常用transformation 转换操作 及action 行动操作

一、常用transformation介绍

操作介绍
map将RDD中的每个元素传入自定义函数,获取一个新的元素,然后用新的元素组成新的RDD
filter对RDD中每个元素进行判断,如果返回true则保留,返回false则剔除
flatMap与map类似,但是对每个元素都可以返回一个或多个新元素
groupByKey根据key进行分组,每个key对应一个Iterable<value>
reduceByKey对每个Key对应的value进行reduce操作
sortByKey对每个key对应的value进行排序操作
join对两个包含<key,value>的RDD进行join操作,每个key join上的pair,都会传入自定义函数进行处理
cogroup同join,但是每个key对应的Itreable<value>都会传入自定义函数进行处理
union、intersection、subtract、combineByKey、foldByKey 


Spark练习之Transformation操作开发

二、常用action介绍

操作介绍
reduce将RDD中的所有元素进行聚合操作,第一个和第二个元素聚合,值与第三个元素聚合,值与第四个元素聚合,以此类推
collect将RDD中所有元素获取到本地客户端
count获取RDD元素总数
take(n)获取RDD中前n个元素
saveAsTextFile将RDD元素保存到文件中,对每个元素调用toString方法
countByKey对每个key对应的值进行count计数
foreach遍历RDD中的每个元素
aggregate、fold、lookup 


Spark练习之action操作开发

 

 

 

 

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页