HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Spark原理
1、RDDResilientDistributedDataset(RDD),弹性分布式数据集弹性是指什么?1、内存的弹性:内存与磁盘的自动切换2、容错的弹性:数据丢失可以自动恢复3、计算的弹性:计算出错重试机制4、分片的弹性:根据需要重新分片分布式
Spark RDD Java
1、Tranform(转换算子)map<pre<codepackagecom.journey.core.rdd.transform;importorg.apache.spark.SparkConf;importorg.apache.spark.api.j
大数据培训-Spark深入理解RDD和关键角色
SparkCore关于RDD你需要知道的你肯定在网上看到过一大堆的废话了。比如下面这两段:RDD是Spark提供的最重要的抽象概念,它是一种有容错机制的特殊数据集合,可以分布在集群的结点上,以函数式操作集合的方式进行各种并行操作。通俗点来讲,可以将RDD理
图解大数据 | 基于Spark RDD的大数据处理分析
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/5250b2cd0614c82376cf7d7417d3345e.png)作者:韩信子(https://link.segmentfault.com/?encO3%2FV
Spark SQL之RDD转换DataFrame的方法
RDD转换DataFrame之Reflection方法第一种方式是使用反射的方式,用反射去推倒出来RDD里面的schema。这个方式简单,但是不建议使用,因为在工作当中,使用这种方式是有限制的。对于以前的版本来说,caseclass最多支持22个大数据培训(https://li
Spark的分区机制的应用及PageRank算法的实现
佩奇排名(PageRank),又称网页排名、谷歌左侧排名,是一种由搜索引擎根据网页之间相互的超链接计算的技术,而作为网页排名的要素之一,以Google公司创办人拉里·佩奇(LarryPage)之姓来命名。Google用它来体现网页的相关性和重要性,在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。概念Sp
Spark学习之路 (十七)Spark分区
一、分区的概念 分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区,分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务中进行的,因此任务的个数,也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区 数据分区,在分布式
SparkStreaming DStream相关操作
DStream的相关操作:DStream上的操作与RDD的类似,分为以下两种:1.Transformations(转换)2.OutputOperations(输出)/Action1.1Transformations
SparkSQL查询程序的两种方法,及其对比
import包:importorg.apache.spark.{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.types.{IntegerType,StringType,StructField,StructTyp
Spark Streaming 结合 Kafka 两种不同的数据接收方式比较
SparkStreaming结合Kafka两种不同的数据接收方式比较博客分类:sparkDirectKafkaInputDStream只在driver端接收数据,所以继承了InputDStream,是没有receivers的在结合SparkStreaming及Kafka的实时应用中,我们通常使用以下两个API来获
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。