HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Hadoop小文件解决方案-基于NameNode内存和MapReduce性能解决方案
TOC在第一篇文章中,我讨论了什么构成了一个小文件,以及为什么Hadoop存在小文件问题。我将一个小文件定义为小于Hadoop块大小75%的任何文件,并解释说由于NameNode内存使用和MapReduce性能,Hadoop更喜欢较少的较大文件。在这篇文章中,当小文件真正不可避免时,我将讨论
要不,我们简单聊聊Hadoop与它的生态圈
实际上,关于Hadoop及其生态系统的文章或者书籍已经汗牛充栋,在2016年大数据这个概念兴起的时候,有幸于能进入数据行业。虽然,在这2年里,并没有达到自己最初的期望,不过还是跨出了那么一步。这里,我们简单的聊聊Hadoop及其生态圈(系统),不做太深入的探讨。Hadoop是什么?
HDFS
HDFS<blockquote本文主要介绍hadoop2.x版本,分析代码主要位于hadoophdfsproject/hadoophdfs/src/main/java/org/apache/hadoop/hdfs/server下namenode、datanode与protoco
大数据项目实践(一)——之HDFS集群配置
一、服务节点规划设计<table<thead<tr<th</th<th机器1</th<th机器2</th<th机器3</th<th机器4</th<th机器5</th</tr</thead<tbody<tr<tdhdfs</td<tdNa
Hadoop HDFS原理分析
HadoopHadoop由两部分组成,分别是分布式文件系统(HDFS)和分布式计算框架MapReduceHDFS架构图!image(/img/remote/1460000015610750?w2154&h1072)NameNode
Hadoop(三)Hadoop的伪分布式操作
<blockquote本文已同步至个人博客<ahref"https://link.segmentfault.com/?encqxlKjSfe8wtv80Kq2hs0mg%3D%3D.9AE9jptI8RsTbeda4fpKzpR6tMYIQ8ZexeJOS9cwjza62U5HSwWnlOp
Phoenix报错(4)java.lang.AbstractMethodError
解决办法原来ha的namenode爆红了,于是把集群的namenodeha先去掉了,随后该问题就搞定了,后面又把ha加上去,ha也不报错了。报错信息如下(里面有namenode.ha相关的报错)<pre<codeExcept
HDFS 误删HA的namenode后无法启动问题解决
背景由于一个程序报了一个与ha相关的报错,随后就删除了一个爆红的ha的namenode随后,hdfs就无法启动了,报的错误如下图所示。随后又删除了3个journalnode,添加了一个secondarynamenode,hdfs的实例页面还是报同样的错误,重启hdfs也报这个错
简述hadoop 2.x Yarn组件协作过程
系统结构!(/img/remote/1460000012820969?w909&h219)hadoop2.x主要包括三个核心部分:(1)hdfs分布式存储组件hadoop用于存储数据的基础组件。分布式的,跨网络交互的hdfs集群。(2)y
简述Hadoop 1.X 系统原理
一、hadoop1.x结构!图片描述(/img/bV1Nlq?w915&h453)HDFS:hadoop分布式存储系统MapReduce:分布式计算框架,包含资源管理和任务调度等(hadoop2.x中被分离到Yarn组件)。API:用户与系统交互
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。