HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
大数据培训Spark SQL字段血缘扩展实战案例
一、背景字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢?有了字段间的血缘关系,便可以知道数据的来源去处,以及字段之间的转换关系,这样对数据的质量,治理有很大的帮助。SparkSQL相对于Hive来说通常情况下效率会比较高,对于运行时间、资源的使
大数据培训Spark SQL知识点与实战分析
SparkSQL概述1、什么是SparkSQLSparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。与基本的SparkRDDAPI不同,SparkSQL的抽象数据类型为Spark提供了关于数据结构和正在执行的计算的更多信息。在内部,
Spark SQL 字段血缘在 vivo 互联网的实践
一、背景字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢?有了字段间的血缘关系,便可以知道数据的来源去处,以及字段之间的转换关系,这样对数据的质量,治理有很大的帮助。<codeSparkSQL</code相对于Hive来说通常情况下效率会比较
大数据培训Spark SQL底层执行流程
一、ApacheSparkApacheSpark是用于大规模数据处理的统一分析引擎,基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量硬件之上,形成集群。Spark源码从1.x的40w行发展到现在的超过100w行,有
Spark SQL 字段血缘在 vivo 互联网的实践
<blockquote作者:vivo互联网服务器团队HaoGuangshi</blockquote一、背景字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢?有了字段间的血缘关系,便可以知道数据的来源去处,以及字段之间的转换关系,这样对数据的质量
大数据培训spark SQL中count(*)和count(1)源码分析
以下文章来源于数据仓库践行者本文基于spark3.2先给结论,在sparksql中count()不管在运行效率方面,还是在最终展示结果方面都等同于count(1)。案例展示sql:SELECTA,COUNT()ASCNTFROMTESTDATA2GROUP
Spark与Flink 架构之间对比区别
Flink和Spark对比通过学习,我们了解到,Spark和Flink都支持批处理和流处理,接下来让我们对这两种流行的数据处理框架在各方面进行对比。首先,这两个数据处理框架有很多相同点。•都基于内存计算;•都有统一的批处理和流处理APl,都支持类似SQL的编程接口;•都支持很多相同的
大数据培训-Spark深入理解RDD和关键角色
SparkCore关于RDD你需要知道的你肯定在网上看到过一大堆的废话了。比如下面这两段:RDD是Spark提供的最重要的抽象概念,它是一种有容错机制的特殊数据集合,可以分布在集群的结点上,以函数式操作集合的方式进行各种并行操作。通俗点来讲,可以将RDD理
Spark的job、stage和task的机制论述
Spark任务调度机制论述在生产环境下,Spark集群的部署方式一般为YARNCluster模式。Driver线程主要是初始化SparkContext对象,准备运行所需的上下文,然后一方面保持与ApplicationMaster的RPC连接,通过ApplicationMaster申请资源,另
Spark—GraphX编程指南
Spark系列面试题Spark面试题(一)(https://link.segmentfault.com/?enc%2FUHjULY1x8pEO71UbuECag%3D%3D.uww3s%2FOIrv9RmnFMuYYRXxi%2BYwZgSiygVbd8xlSK6D9d2Uf
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。