2020的咸鱼翻身之路
文章目录
2020年了,终于也到了30觉得是应该努力一下了。目前在学习机器学习中,记录一下今年的成长之路吧。
2020.01.01 今天学习了pyspark,了解了一些关于RDD和DataFrame的操作,在此总结下:
1. 首先导入包和初始化:
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster('local').setAppName('CustomerAnalysis')
sc = SparkContext(conf = conf)
里面的一些参数没有具体细查,不过从字面上理解的话就是设置本地和APPname的意思应该。
2 读取相应的文件:
rdd = sc.textFile('../data/xxxx.csv')
这样我们就创建了一个RDD类出来了。下面就是对这个类的一系列操作。
3 rdd的一系列操作:
take取出前几列
rdd.take(3) #取出前三行
map(f)函数为每一行应用f函数
rdd.map(f) # map是一个非常重要的函数使用下来他可以直接删选col是非常使用的,因为rdd的很多方法只接受单列或者(k,v)的结构map就能够很好的删选
reduceByKey()需要2个输入貌似,毕竟最后还是进行的reduce操作
reduceByKey(lambda x,y:x+y) #reduceByKey是根据key进行value的reduce(df.groupby('key').sum())
filter函数,删选
sortBy函数 排序
sortBy(lamdba x:x[1], ascending=False)
count计算函数 传入的是单列
count()
传入PAIR RDD
countByKey()

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论