HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Hadoop知识点总结
本文包含HDFS、Yarn和MapReduce三部分内容,总结了Hadoop的NameNode、2NN、DataNode原理,HDFS存储机制,MapReduce流程,数据倾斜,Yarn工作机制等相关知识要点。一、HDFS部分1、NameNode和SecondaryNam
尚硅谷Hadoop3.x高可用集群教程发布
Hadoop是一个对海量数据进行分布式处理的软件框架,用户可以轻松地在Hadoop上开发和运行处理PB级数据,具有高可靠性、高扩展性、高容错性、低成本等优点。Hadoop是大数据技术中最重要的框架之一,是大数据工程师的必备技能。!(https://imghelloworld.osscnb
Hadoop原理与源码
hadoop概述Hadoop历史Hadoop最早起源于Nutch。Nutch的设计目标是一个网络爬虫引擎,但随着抓取网页数据量的增大,Nutch遇到了严重的性能扩展问题。2003年,2004年谷歌发布两篇论文为该问题提供了一个解决方案一个是HDFS的前身GFS,用于
Hadoop 入门笔记 二十三 : MapReduce性能优化-数据压缩优化
一.压缩优化设计运行MapReduce程序时,磁盘I/O操作、网络数据传输、shuffle和merge要花大量的时间,尤其是数据规模很大和工作负载密集的情况下,鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源,数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。如果磁盘I/O和
Hadoop 入门笔记 二十三 : MapReduce性能优化-文件类型
一.MapReduce性能优化概述1.MapReduce的应用场景Hadoop包含了GFS的开源实现HDFS(Hadoopdistributedfilesystem)和MapReduce框架的开源实现。Hadoop得到了企业界及学术界关注,Yahoo、Facebo
《Linux一学就会》第十九章- shell脚本的基础
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/84468cec14e95e0516517599e5b34a1f.png)!(https://imghelloworld.osscnbeijing.aliyuncs.
云湖共生-释放企业数据价值
摘要:2021云栖大会云原生企业级数据湖专场,阿里云智能资深技术专家、对象存储OSS负责人罗庆超为我们带来《云湖共生释放企业数据价值》的分享。本文主要从数据湖存储演进之路、数据湖存储3.0进化亮点等方面分享了云湖共生带来的企业价值。摘要:2021云栖大会云原生企业级数据湖专场,阿里云智能
Hadoop 入门笔记 二十二 : MapReduce实现Join关联操作
一.背景在实际的数据库应用中,我们经常需要从多个数据表中读取数据,这时我们就可以使用SQL语句中的连接(JOIN),在两个或多个数据表中查询数据。在使用MapReduce框架进行数据处理的过程中,也会涉及到从多个数据集读取数据,进行join关联的操作,只不过此时需要使用java代码并且
Hadoop 入门笔记 二十一 : MapReduce DB操作
一.背景知识通常组织会使用关系型数据来存储业务相关的数据,但随着数据的规模越来越大,尤其是像MySQL这种,在单表超过5千万条记录时,尽管对表使用了特定的存储引擎和索引优化,但依然不可避免的存在性能下降问题。此时,我们__可以通过使用MapReduce从MySQL中定期迁移使用频率
Hadoop 入门笔记 二十 : MapReduce Counter计数器
一.计数器概述执行MapReduce程序的时候,控制台输出信息中通常有下面所示片段内容:!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/a2d5e723bdbeff4856f37cafb8fec
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。