HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Spark系列——作业原理详解
前言本篇文章主要是从作业提交到最后获取到作业结果,从源码的角度,但是不涉及源码进行的分析.其目的是读完本篇文章,你将对作业的基本流程有个清晰的认识。当然如果你阅读过源码,那么读起来应该会比较舒服,否则可能会有一定不适,因为本文写的不是那么有逻辑~~~1.任务提交过程首
Spark 核心篇
本章内容:1、功能描述本篇文章就要根据源码分析SparkContext所做的一些事情,用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类,足以说明SparkContext的重要性;这里先摘抄SparkContext源码注释来简单介绍介绍SparkContext,注释的第一句话就是说Spar
Spark Shuffle之Sort Shuffle
源文件放在github,随着理解的深入,不断更新,如有谬误之处,欢迎指正。原文链接https://github.com/jacksu/utils4s/blob/master/sparkknowledge/md/sortshuffle.md(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%
Spark Core读取ES的分区问题分析
ES也是比较火热,在日志数据分析,规则分析等确实很方便,说实话用esstack浪尖觉得可以解决很多公司的数据分析需求。极客时间下周一要上线新的ES课程,有需要的暂时别购买,到时候还找浪尖返现吧。写这篇文章的原因是前两天星球球友去面试,面试管问了一下,Spark分析ES的数据,生成的RDD分区数跟什么有关系呢?稍微猜测一下就能想到
Apache Spark探秘:Spark Shuffle实现
ApacheSpark探秘:SparkShuffle实现博客分类:hadoopspark对于大数据计算框架而言,Shuffle阶段的设计优劣是决定性能好坏的关键因素之一。本文将介绍目前Spark的shuffle实现,并将之与MapReduce进行简单对比。本文的介绍顺序是:shuffle基本概念,MapReduceShuffle发展史以及Sp
已经看完全部文章
已加载文章中没有匹配内容,可继续加载更多。