HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
【转】大数据开发之Spark面试八股文
1.Spark的运行流程?!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/f7b6416a45b2eabb7acf95db078e973a.png)具体运行流程如下:SparkContext向资源管理
大数据开发之Spark SQL及基础引擎知识分享
SparkSQL作为Spark计算查询的重要支撑,在Spark生态当中的重要性是不言而喻的。SparkSQL使得一般的开发人员或者非专业的开发人员,也能快速完成相应的计算查询需求,大数据培训这也是其存在的重要意义。今天的大数据开发学习分享,我们就来讲讲SparkSQL及基础引擎。在编程级别
大数据开发之sparkSQL的使用分享
SparkSQL,使用SQL来完成大数据操作Spark之前使用RDD操作大数据,非常方便,但是也有各种问题,例如RDD每次读取的都是字符串,以及语法比较比较麻烦。大数据培训针对这种情况,spark在新版本中升级RDD为DataFrame和DataSet,并使用SQL的方式去操作数据!(h
大数据开发 Spark 模块之SparkSQL
在实际的开发过程中,SQL化已经是数据领域的共识,大家疯狂的将大数据框架的易用性做到了最高,即使一个刚刚毕业的同学,只要有SQL基础就可以看懂甚至上手开发了。那么我们有必要对SparkSQL这个模块进行一个全面的解析。SparkSQL的前世今生SparkSQL的前身是Shark,它发布
OPPO大数据离线计算平台架构演进
1前言OPPO的大数据离线计算发展,经历了哪些阶段?在生产中遇到哪些经典的大数据问题?我们是怎么解决的,从中有哪些架构上的升级演进?未来的OPPO离线平台有哪些方向规划?今天会给大家一一揭秘。2OPPO大数据离线计算发展历史2.1大数据行业发展阶段
「Spark从精通到重新入门(二)」Spark中不可不知的动态资源分配
前言资源是影响Spark应用执行效率的一个重要因素。Spark应用中真正执行task的组件是Executor,可以通过spark.executor.instances指定Spark应用的Executor的数量。在运行过程中,无论Executor上是否有task
大数据开发之Spark和Flink的对比(转载)
大数据计算引擎的起源Hadoop和其他基于mapreduce的数据处理系统的出现首先是为了满足传统数据库无法满足的数据处理需求。随着2004年谷歌发布MapReduce白皮书以来的发展浪潮,利用Hadoop的开源生态系统或类似系统处理大数据已经成为行业的基本需求。尽管最近努力降低进入门槛
Spark和Hadoop以及区别
Spark是什么?Spark,是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。Spark包含了大数据领域常见的各种计算框架:比如SparkCore用于离线计算,SparkSQL用于交互式查询,SparkS
Spark SQL之RDD转换DataFrame的方法
RDD转换DataFrame之Reflection方法第一种方式是使用反射的方式,用反射去推倒出来RDD里面的schema。这个方式简单,但是不建议使用,因为在工作当中,使用这种方式是有限制的。对于以前的版本来说,caseclass最多支持22个大数据培训(https://li
描述一下Spark的DAG原理?
DAG(DirectedAcyclicGraph)有向无环图,Spark中使用DAG对RDD的关系进行建模,描述了RDD的依赖关系,这种关系也被称之为lineage&34;血统&34;,RDD的依赖关系使用Dependency维护,Dependency分为宽依赖(一个父RDD被多个子RDD分
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。