HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Spark RDD操作之Map系算子
本篇博客将介绍SparkRDD的Map系算子的基本用法。 1、map map将RDD的元素一个个传入call方法,经过call方法的计算之后,逐个返回,生成新的RDD,计算之后,记录数不会缩减。示例代码,将每个数字加10之后再打印出来, 代码如下importjava.util.Arrays;im
Spark RDD工作原理详解+RDD JAVA API编程
第1章RDD概念1.1RDD为什么会产生 RDD:ResilientDistributedDataset弹性分布式数据集RDD是Spark的基石,是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢?
Spark Python 快速体验
Spark是2015年最受热捧大数据开源平台,我们花一点时间来快速体验一下Spark。Spark技术栈!(http://static.oschina.net/uploads/space/2016/0331/103717_d6qN_1450051.png)如上图所示,Spark的技术栈包括了这些模块:核心模块:Spark
Spark Core读取ES的分区问题分析
ES也是比较火热,在日志数据分析,规则分析等确实很方便,说实话用esstack浪尖觉得可以解决很多公司的数据分析需求。极客时间下周一要上线新的ES课程,有需要的暂时别购买,到时候还找浪尖返现吧。写这篇文章的原因是前两天星球球友去面试,面试管问了一下,Spark分析ES的数据,生成的RDD分区数跟什么有关系呢?稍微猜测一下就能想到
Spark Cache源代码分析
1\.sparkcache原理Task运行的时候是要去获取Parent的RDD对应的Partition的数据的,即它会调用RDD的iterator方法把对应的Partition的数据集给遍历出来,具体流程如下图:!在这里插入图片描述(https://imgblog.csdnimg.cn/20200724165519878.pn
10.Spark之RDD及编程接口
1.起点HelloWorld valscnewSparkContext("spark://...","HelloWorld","SPARK\_HOME路径","APP\_JAR路径") valfilesc.textFile("hdfs:///root/Log")
Spark核心类:弹性分布式数据集RDD及其转换和操作pyspark.RDD
http://blog.csdn.net/pipisorry/article/details/53257188(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fblog.csdn.net%2Fpipisorry%2Farticle%2Fdetails%2F53257188)弹性分布
分布式弹性数据集RDD助力spark提升运行效率
在spark的简介中我们已经说过了,为了让spark的处理速度加快,其中有一个解决办法就是引入了一个分布式的弹性数据集–RDDRDD概念那什么是RDD:RDD(ResilientDistributedDataset)弹性数据集,是spark中的最基本的数据抽象,虽然说R
Scala学习笔记:how to convert a StringRDD to Array
!clipboard1.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/656385f78a456e1e6c74ff70cd07f21f.png)!clipboard2.png(https://imghello
图解RDD血缘关系
需求有三个RDD,分别是rddA,rddB,rddC.取数据<code1,2,3,4,5</code并且分成三个分区,对输入的数据的每一个数据2,只取大于6的数据.代码<pre<codevalrddAsc.parallelize(List(1,
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。