文章
技术干货!HDFS读写原理和代码简单实现
<blockquote摘要:本文主要研究了HDFS文件系统的读写流程以及基于MRS在windows客户端下读写HDFS文件的实现。</blockquoteHDFS(Hadoop分布式文件系统)是ApacheHadoop项目的一个子项目。HDFS支持海量数据的存储,允许用户把成百上千的计
kafka是什么?对kafka你了解有多少
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写,它是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据,这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过
Hadoop之性能测试与调优
Hadoop测试集群搭建起来,是不是就万事大吉了呢?如果只是用来学习或者做做实验,貌似够了,但生产环境中还不够,因为我们还没有对集群进行测试,是不是能达到我们预期。1.1写测试测试写入100个128M的文件<pre<codehadoopjar/opt/m
利用Zookeeper实现Hadoop HA
1.什么是HA?所谓HA,也就是高可用,放在实际运营中,那就是724小时不间断服务。那么实现HA,最关键的地方的就是消除单点故障,那什么是单点故障,就没有可替代的节点,一旦这个节点挂了,那整个服务也跟着瘫痪,直到该节点恢复。2.HadoopHAHadoop为什么需要
hadoop优化
数据压缩很多小文件,将小文件压缩为一个大文件,IO效率加快Bzip2LZOSnappy配置文件调优!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/
Distcp的那点事
TOC<blockquote灵魂拷问:你真的了解distcp吗?这里说的就是distcp的那点事</blockquote背景今天在整理笔记的时候,发现了好几篇临时记录都是记录的集群间文件复制需要注意的地方,虽然记录的东西和重点不同,但是核心的东西都是distcp相关的
列式存储格式之parquet读写
概述ApacheParquet是Hadoop生态系统中任何项目均可使用的列式存储格式,更高压缩比以及更小IO操作。网上许多写入parquet需要在本地安装haddop环境,下面介绍一种不需要安装haddop即可写入parquet文件的方式,以及通过两种方式来读取parquet文件。下面
Hadoop之Yarn
1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。在1.x版本中,MapReduce版本承担了过重的任务,包括资源调度,而到2.x版本中,则将资源调度这部分独立出来了,就是Yarn,这使得hadoop更加稳固,拥有更好的扩展性,可用性,可靠性。所以我们可以知道,Y
Hadoop之MapReduce(四)序列化和排序
1.Hadoop序列化和自定义实现序列化序列化就是把内存中的对象,转换成字节序列,或这是其他传入协议,然后进行网络传输或者持久化到磁盘中。反序列化就是一个相反的过程,将收到的字节序列或者磁盘中持久化的数据,转换成内存中的对象。hadoop有一套自己的序列化机制,像前面提到的Boole
Hadoop之MapReduce(三)Shuffle机制和Partition分区
1.Shuffle机制Shuffle指的map()方法之后,reduce()之前的数据处理过程。就是将MapTask输出的结果数据,按照Partitioner分区制定的规则分发给ReduceTask执行,并在分发的过程中,对数据进行分区和排序。2.Partitio
已加载文章中没有匹配内容,试试其他关键词或清空搜索。