HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Hadoop 及Spark 分布式HA运行环境搭建

作者:京东物流秦彪工欲善其事必先利其器,在深入学习大数据相关技术之前,先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境,对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站在研发的角度上通过手动实践搭建运行环境,文中不拖泥带水过多讲述基础知识,结合Hado

大数据复习

hdfs的实现目标和局限1.实现目标兼容廉价的硬件设备流数据读写大数据集简单的文件模型强大的跨平台兼容性2.局限不适合低延迟数据访问无法高效存储大量小文件不支持多用户写入及任意修改文件name

hadoop集群搭建

集群简介HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。HDFS集群负责海量数据的存储,集群中的角色主要有:NameNode、DataNode、SecondaryNameNode。YARN集群负责海量数据运算

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。