HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

HDFS - 什么是元数据

元数据文件上传到HDFS服务器的时候,会分成多个块,并以多个副本的形式存储在服务器上面,那我们怎么知道这个文件的文件名是什么呢?这个文件被分成了多少块?每个块又存储在哪几个服务呢?所以HDFS在上传文件的时候,除了上传文件,还会另外保存这些信息,这些信息叫做元数据。!image.png

HDFS - 安全模式是什么

HDFSNameNode的高可用(https://segmentfault.com/a/1190000040179730)提到了NameNode有active状态和standby状态,他还有另外一个状态,就是safemode,安全模式。在安全模式下,HDFS不接收对元素修改的请求,只允许对

HDFS - NameNode的高可用

高可用我们已经知道了,读取文件、上传文件,都需要经过NameNode,如果NameNode宕机了,那客户端就不知道往哪里读写数据,整个集群就不可用了。!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs

HDFS - HDFS的四个角色

在上一篇已经知道了HDFS是把文件切成块后,再存储在多个服务器中,并且为了数据的安全性,都做了多个副本进行冗余存储。那在HDFS中,是谁对文件进行切块?是谁决定了块存储在哪里?是谁管理存储的文件?在HDFS中,有这几种角色:NameNode:负责处理Client的请求、元数据管理等其他功

HDFS - 文件越来越多怎么办

随着业务的发展,服务器存放的文件就越来越多,初期的时候,我们会直接通过扩容来解决这个问题。但是硬盘不可能存放未来所有增量的文件,并且硬盘不可能无限扩容,当硬盘分配完后,要么加硬盘,要么加服务器。加硬盘可能是比较快的方式,只要在程序中判断在某个时间节点的文件,写入和读取都在指定的盘符就可以了,但是每个

Hologres揭秘:深度解析高效率分布式查询引擎

Hologres(中文名交互式分析)是阿里云自研的一站式实时数仓,这个云原生系统融合了实时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构,与此同时为业务提供实时决策的能力,让大数

智能数据构建与管理平台Dataphin的前世今生:缘起

简介:阿里巴巴提出的OneData方法论帮助企业捋清了数据全生命周期的管理思路,更将其植入到产品Dataphin(智能数据构建与管理)中,通过阿里云为企业提供服务。Dataphin智能数据构建与管理平台面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。