HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
大数据之 Hadoop-5-HDFS
一、HDFS简介HDFS(HadoopDistributedFileSystem)是Hadoop项目的核心子项目,在大数据开发中通过分布式计算对海量数据进行存储与管理。HDFS是一个典型的主/从架构的分布式系统。一个HDFS集群由一个元数据节点(NameNode)和一些
Hadoop系列
HadoopHadoop集群安装(https://segmentfault.com/a/1190000039987453)Hadoop集群安装(高可用)(https://segmentfault.com/a/1190000040030372)HDFS
HDFS - 写数据的那些事
之前也提过,客户端需要写数据的时候,就会跟NameNode说他准备把文件上传到某个目录,NameNode就会开始进行元数据的更新。由于元数据的更新是非常重要的,所以客户端会在一定条件内重试,直至成功。!image.png(https://imghelloworld.osscnbeijin
kafka | kafka.errors.NoBrokersAvailable: NoBrokersAvailable
问题描述简述:在完成大数据实验课程(https://link.segmentfault.com/?enckeQ2lEaLwQo0Ts00JkU1Jw%3D%3D.RQJOG50YR0Jtb8alEQNXENHpt%2FATOcFUUfHw5FVEtYUn0%2Fv589PJTXT
云小课 | MRS基础入门之HDFS组件介绍
<blockquote<strong摘要:</strongHDFS是MapReduce服务中的基础文件系统,全称为Hadoop的分布式文件系统(HadoopDistributedFileSystem),可支持实现大规模数据可靠的分布式读写。</blockquote本文分享自华为云社
HDFS - CheckPoint机制是怎么实现的
HDFS什么是元数据(https://segmentfault.com/a/1190000040187238)我们提到了CheckPoint机制,主要就是合并多个edits文件,NameNode的压力已经很大了,所以合并的事情,并不是NameNode来做的,而是SecondaryNamen
EMR集群安全认证和授权管理
<blockquote<p<strong简介:</strong介绍EMR高安全集群如何使用Kerberos和ApacheRanger进行鉴权和访问授权管理</p<p直达最佳实践:【<ahref"https://link.segmentfault.com/?encUcgkIBUmx
基于kerberos的hadoop安全集群搭建
TOC<blockquote上一份工作主要负责大数据平台的建设,在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记,由于时间关系,不打算去修改其中的错别字和排版问题,直接释出原始笔记。</blockquote前置条件我所在的集群有三台服务其,对应的host分别
面试系列四 之 项目涉及技术Hadoop
1.1、Hadoop常用端口号dfs.namenode.httpaddress:50070dfs.datanode.httpaddress:50075SecondaryNameNode辅助名称节点端口号:50090dfs.datanode.address:5
HDFS - 双缓冲机制如何保证对元数据的高并发请求
我们在HDFS什么是元数据(https://segmentfault.com/a/1190000040187238)中提到了,元数据会存在与内存和磁盘中,内存为了提高响应速度,磁盘是为了持久化保证数据的安全,但是写磁盘的速度相对于内存是慢了几个数量级的,如果NameNode每次都要把数据落
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。