HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Hadoop学习笔记三:MapReduce的Shuffle图解
学习的时候没有太过留意Shuffle这个概念,以至于还以为是不是漏掉了什么知识点,后面看了一些帖子才发现Shuffle原来是map()方法执行结束到reduce()方法执行这么一大段过程....小声BB:实质上该过程包含许多环节,不知道为啥就统称Shuffle了......1.
Hadoop学习笔记二:MapReduce的IO类型 && 文件切片
1.对MapReduce的理解是什么:Hadoop默认自带的分布式计算框架做什么:提供一系列接口(核心类:InputFormat、OutputFormat、Mapper、Reducer、Driver),让用户能够实现自定义业务功能的分布式计算任务【优点】:
Windows 下运行 Hadoop 并部署到 AWS(qbit)
本文环境<pre<codeWindows10JDK8IntelliJIDEA2019.3.4(CommunityEdition)Hadoop2.8.5AWSEMR5.3.0</code</pre单机程序新建<codeMaven
大数据的“helloworld”,你还记得怎么写吗?
java入门helloworld大数据入门wordcount因为工作的关系,频繁的重复被wordcount配置的恐惧,尤其是在scala横飞的今天,长久的不再使用有的时候真的记不住啊,从网上找各种相应的代码,五味杂陈,所以在这里将简单的wordcount的代码整理出来供大家使
AWS EMR 入门笔记
EMR使用指南(包括HIVE、HBASE、Spark等指南):https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emrsparkdocker.html(https://link.segmentfault.com/?enc4zZUo
MapReduce以及shuffle的工作流程机制
1、MapTask工作机制!1.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/35660fe7f1c38f0f14d4c829459a201d.png)<code提交阶段</code1、首先准备待处理的文
Python3 map/reduce/filter 示例(qbit)
运行环境<pre<codeWindows10Python3.8.2PyFunctional1.3.0</code</pre示例原料<pre<codelst2,1,0,1,2</code</pre
[MapReduce]压缩
压缩基本原则:运算密集型的job少用压缩IO密集型job,多用压缩支持的压缩编码!微信截图_20200225170504.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/
[MapReduce] Join操作在mapreduce中的实现
Join操作分为MapJoin/ReduceJoinReduceJoin(存在数据倾斜的可能)Map端主要工作:为来自不同表或文件的kv键值对,打标签以区别不同的来源,以连接字段作为key,其余部分加上标签作为value,然后输出.
[MapReduce] 分组 GroupingComparator
分组排序步骤:自定义类继承<codeWritableComparator</code类(区别于自定义数据类型时是实现<codeWritableComparable</code接口)重写compare()方法,因为排序后的第一个key将作为该组的key值,因
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。