HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

HDFS - 写数据的那些事

之前也提过,客户端需要写数据的时候,就会跟NameNode说他准备把文件上传到某个目录,NameNode就会开始进行元数据的更新。由于元数据的更新是非常重要的,所以客户端会在一定条件内重试,直至成功。!image.png(https://imghelloworld.osscnbeijin

HDFS - 什么是元数据

元数据文件上传到HDFS服务器的时候,会分成多个块,并以多个副本的形式存储在服务器上面,那我们怎么知道这个文件的文件名是什么呢?这个文件被分成了多少块?每个块又存储在哪几个服务呢?所以HDFS在上传文件的时候,除了上传文件,还会另外保存这些信息,这些信息叫做元数据。!image.png

HDFS - 安全模式是什么

HDFSNameNode的高可用(https://segmentfault.com/a/1190000040179730)提到了NameNode有active状态和standby状态,他还有另外一个状态,就是safemode,安全模式。在安全模式下,HDFS不接收对元素修改的请求,只允许对

HDFS - NameNode的高可用

高可用我们已经知道了,读取文件、上传文件,都需要经过NameNode,如果NameNode宕机了,那客户端就不知道往哪里读写数据,整个集群就不可用了。!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs

HDFS - HDFS的四个角色

在上一篇已经知道了HDFS是把文件切成块后,再存储在多个服务器中,并且为了数据的安全性,都做了多个副本进行冗余存储。那在HDFS中,是谁对文件进行切块?是谁决定了块存储在哪里?是谁管理存储的文件?在HDFS中,有这几种角色:NameNode:负责处理Client的请求、元数据管理等其他功

HDFS - 文件越来越多怎么办

随着业务的发展,服务器存放的文件就越来越多,初期的时候,我们会直接通过扩容来解决这个问题。但是硬盘不可能存放未来所有增量的文件,并且硬盘不可能无限扩容,当硬盘分配完后,要么加硬盘,要么加服务器。加硬盘可能是比较快的方式,只要在程序中判断在某个时间节点的文件,写入和读取都在指定的盘符就可以了,但是每个

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。