HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
stage的划分
stage的划分是以shuffle操作作为边界的,遇到一个宽依赖就分一个stage一个Job会被拆分为多组Task,每组任务被称为一个Stage就像MapStage,ReduceStage。Stage的划分在RDD的论文中有详细的介绍,简单的说是以shuffle和result这两种类型来划分。在Spark中有两类task,一类是shuffleMap
ThoughtWorks Go基本概念
写在前面:当前最流行的持续集成工具非jenkins莫属,已使用jenkins一年有余,想尝试下别的CI工具,如ThoughtWorksGo,且在尝试时做主要记录并分享,这是首先介绍下基本概念......ThoughtWorksGo是ThoughtWorks公司的一款持续集成和发布的系统。它用一个创新的方法来管理构建、测试和发布过程。
Spark系列——作业原理详解
前言本篇文章主要是从作业提交到最后获取到作业结果,从源码的角度,但是不涉及源码进行的分析.其目的是读完本篇文章,你将对作业的基本流程有个清晰的认识。当然如果你阅读过源码,那么读起来应该会比较舒服,否则可能会有一定不适,因为本文写的不是那么有逻辑~~~1.任务提交过程首
Spark源码剖析(八):stage划分原理与源码剖析
引言对于Spark开发人员来说,了解stage的划分算法可以让你知道自己编写的sparkapplication被划分为几个job,每个job被划分为几个stage,每个stage包括了你的哪些代码,只有知道了这些之后,碰到某个stage执行特别慢或者报错,你才能快速定位到对应的代码,对其进行性能优化和排错。stage划分原理与源码
Spark常见问题汇总
注意:如果Driver写好了代码,eclipse或者程序上传后,没有开始处理数据,或者快速结束任务,也没有在控制台中打印错误,那么请进入spark的web页面,查看一下你的任务,找到每个分区日志的stderr,查看是否有错误,一般情况下一旦驱动提交了,报错的情况只能在任务日志里面查看是否有错误情况了1、Operationcatego
Pipeline As Code With Jenkins2.0
!封面图片:MBPWithTouchBar(SpaceGray)(http://uploadimages.jianshu.io/upload_images/9824247dbd6b84206381f8e.jpg?imageMogr2/autoorient/strip%7CimageView2/2/w/1240)注:本文首发
MapReduce执行计划及优化
WordCount:selectrank,count(\)cntfromcitygroupbyrank;!(https://oscimg.oschina.net/oscnet/61fb309af6e64b32cec66e8e281e9bc3eaa.png)Map与Reduce都是一个JVM进程,可以理解为都是一个独立的应用
DevOps之持续集成Pipeline(一)
一、Pipeline介绍Jenkins2.0中最大的一个特性就是Pipeline,实际使用中Pipeline已经超越了我们对jenkins本身的理解,可能在之前我们大多数把Jenkins当做是一个持续集成的工具。但是在Jenkins2.0中,Jenkins完成了CI到CD的华丽转身,而且因为Jenkins的开放性,随着一些
Babel配置中的presets、plugins、各个阶段stage的含义
什么是BabelBabel官方文档:https://babeljs.io/Babel 中文文档:https://www.babeljs.cn/我们知道各个浏览器对JavaScript版本的支持各不相同,很多新的语法无法直接在浏览器中运行,为了解决这个“沟通不畅”的问题,所以就有了Babel,Babel主要用于将ECMAScrip
Babel的使用
本文参考文献(https://zhuanlan.zhihu.com/p/43249121(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fzhuanlan.zhihu.com%2Fp%2F43249121))babel到底做了什么?怎么做的?
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。