HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

自定义UDF函数vector_trans:遍历两个数组,将其转为目标向量数组(XGBoost模型)

vector_transudf函数的开发及优化一、背景集团数据挖掘项目下,用户画像工程需要开发一些基础标签,如年龄、性别、婚姻状况、有车、有房、资产情况等。这些标签不能简单的使用集团下的各个数据作为最终评价结果,因为不同数据的置信度情况不一样。因此我们需要使用决策树X

Spark的五种JOIN策略

JOIN操作是非常常见的数据处理操作,Spark作为一个统一的大数据处理引擎,提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略,希望对你有所帮助。本文主要包括以下内容:影响JOIN操作的因素Spark中JOIN执行的5种策略Spark是如何选择JO

Spark的cache和persist的区别

spark的数据持久化昨天面试的时候被问到了sparkcache和persist的区别,今天学习了一下并做一些记录首先要了解的是RDD是lazy的,具体贴一段stackoverflow的解答,很详细的介绍了怎么理解RDD,加cache与不加有什么区别,这个区别具体作用在哪里。Mos

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。