HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
HDFS - 写数据的那些事
之前也提过,客户端需要写数据的时候,就会跟NameNode说他准备把文件上传到某个目录,NameNode就会开始进行元数据的更新。由于元数据的更新是非常重要的,所以客户端会在一定条件内重试,直至成功。!image.png(https://imghelloworld.osscnbeijin
云小课 | MRS基础入门之HDFS组件介绍
<blockquote<strong摘要:</strongHDFS是MapReduce服务中的基础文件系统,全称为Hadoop的分布式文件系统(HadoopDistributedFileSystem),可支持实现大规模数据可靠的分布式读写。</blockquote本文分享自华为云社
HDFS - CheckPoint机制是怎么实现的
HDFS什么是元数据(https://segmentfault.com/a/1190000040187238)我们提到了CheckPoint机制,主要就是合并多个edits文件,NameNode的压力已经很大了,所以合并的事情,并不是NameNode来做的,而是SecondaryNamen
HDFS - 双缓冲机制如何保证对元数据的高并发请求
我们在HDFS什么是元数据(https://segmentfault.com/a/1190000040187238)中提到了,元数据会存在与内存和磁盘中,内存为了提高响应速度,磁盘是为了持久化保证数据的安全,但是写磁盘的速度相对于内存是慢了几个数量级的,如果NameNode每次都要把数据落
HDFS - 什么是元数据
元数据文件上传到HDFS服务器的时候,会分成多个块,并以多个副本的形式存储在服务器上面,那我们怎么知道这个文件的文件名是什么呢?这个文件被分成了多少块?每个块又存储在哪几个服务呢?所以HDFS在上传文件的时候,除了上传文件,还会另外保存这些信息,这些信息叫做元数据。!image.png
HDFS - NameNode如何感知到DataNode的
注册在HDFSHDFS的四个角色(https://segmentfault.com/a/1190000040179706)提到了NameNode启动的时候,会开启RPC服务,叫做ServiceRpcServer,这个Server有很多个协议,其中一个叫做DatanodeProt
HDFS - 安全模式是什么
HDFSNameNode的高可用(https://segmentfault.com/a/1190000040179730)提到了NameNode有active状态和standby状态,他还有另外一个状态,就是safemode,安全模式。在安全模式下,HDFS不接收对元素修改的请求,只允许对
HDFS - NameNode的高可用
高可用我们已经知道了,读取文件、上传文件,都需要经过NameNode,如果NameNode宕机了,那客户端就不知道往哪里读写数据,整个集群就不可用了。!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs
HDFS - HDFS的四个角色
在上一篇已经知道了HDFS是把文件切成块后,再存储在多个服务器中,并且为了数据的安全性,都做了多个副本进行冗余存储。那在HDFS中,是谁对文件进行切块?是谁决定了块存储在哪里?是谁管理存储的文件?在HDFS中,有这几种角色:NameNode:负责处理Client的请求、元数据管理等其他功
HDFS - 文件越来越多怎么办
随着业务的发展,服务器存放的文件就越来越多,初期的时候,我们会直接通过扩容来解决这个问题。但是硬盘不可能存放未来所有增量的文件,并且硬盘不可能无限扩容,当硬盘分配完后,要么加硬盘,要么加服务器。加硬盘可能是比较快的方式,只要在程序中判断在某个时间节点的文件,写入和读取都在指定的盘符就可以了,但是每个
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。