文章
Hadoop分布式文件系统HDFS
HDFS中的角色HDFS中主要有四个角色:NameNode(管理NameSpace):NameNode是Hadoop分布式文件系统的核心,架构中的主角色。它是访问HDFS的唯一入口,仅存储HDFS的元数据,包括文件系统中所有文件的目录树,并跟踪整个集群中的文件,但不存储
CloudCanal x Hive 构建高效的实时数仓
简述CloudCanal(https://link.segmentfault.com/?enckZgmUpnuBmZZzKWZcqdlZQ%3D%3D.47FUwqQJo4Fhy04CrjLqiVrmkXiLDKFBwtveiVmC280BMh2D2bG0338ZzHQs8uk8m
大数据之大数据入门篇
1.大数据首先要解决的问题是,海量数据怎么存储?<pre<code这个就交由hadoopdistributefilesystemHDFS来解决;1.具体怎么存?hdfs将海量数据(GB/TB)存储在多个普通机器节点上,将存储空间分成多个块(默认128M),再将这些
手把手教你使用 OSS-HDFS 服务平替自建HDFS
1.服务介绍OSSHDFS服务是一款基于对象存储OSS之上的云原生数据湖3.0存储产品,基于统一的元数据管理能力,在完全兼容HDFS文件系统接口的同时,提供充分的POSIX能力支持,能更好的满足大数据和AI领域丰富多样的数据湖计算场景。通过OSSHDFS服务,无需对现
万字长文 | Hadoop 上云: 存算分离架构设计与迁移实践
一面数据原有的技术架构是在线下机房中使用CDH构建的大数据集群。自公司成立以来,每年都保持着高速增长,业务的增长带来了数据量的剧增。在过去几年中,我们按照每1到2年的规划扩容硬件,但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。为了解决包括扩容周期长、计算存
HDFS架构篇
1、NameNode启动<pre<codeNameNode实例化>>NameNode.initialize()>初始化的核心逻辑>startHttpServer()>50070(9870),提供HTTP服务
hdfs的透明加密记录
1、背景我们知道,在<codehdfs</code中,我们的数据是以<codeblock</code块存储在我们的磁盘上的,那么默认情况下,它是以<code密文</code存储的,还是以<code明文</code存储的呢?如果是明文存储的,那么是否就不安全呢?那么在<co
hdfs中acl权限管理的简单实用
1、背景在我们开发的过程中有这么一种场景,<code/projectA</code目录是<codehadoopdeploy</code用户创建的,他对这个目录有<codewrx</code权限,同时这个目录属于<codesupergroup</code,在这个组中的
hdfs开启回收站(废纸篓)
1、背景我们知道,在<codemac</code系统上删除文件,一般情况下是可以进入<code废纸篓</code里的,如果此时我们误删除了,还可以从废纸篓中恢复过来。那么在<codehdfs</code中是否存在类似mac上的<code废纸篓</code这个功能呢?答
`hadoop fs -mkdir <path>` 创建的目录位置
linux创建文件夹命令<codemkdir绝对路径</code<pre<code绝对路径写哪里存哪里没问题mkdirp/test1/test2/test3ll/</code</pre<codemkdir相对路径</code
已加载文章中没有匹配内容,试试其他关键词或清空搜索。