文章
hadoop入门案例-统计每个航班班次
_案例基于hadoop2.73,伪分布式集群_一,创建一个MapReduce应用MapReduce应用结构如图:!图片描述(/img/bV1Kuh?w430&h448)1、引入maven依赖<pre<code<projectxmlns
hadoop安装
环境centos7.4工具Xshell(远程终端模拟)FileZilla(给linux传输文件)准备工作下载jdk1.8(https://link.segmentfault.com/?encdALZmL0%2BKrHfhZ
图说MapReduce处理数据的过程
_下图来源于《HadoopForDummies》图书,示例为统计每个航班的飞行航次。_!图片描述(/img/bV1xpB?w1078&h592)A:文件存储到linux系统、windows系统都是以datablock的形式来存储。hdfs会把文件分
DataNode无法启动,All specified directories are failed to load
Namenode节点因网络问题挂掉以后,整个集群的datanode等服务也相继挂了,待修复网络问题,并且启动集群后发现有两个datanode节点无法启动,查看日志发现其报错如下:<pre<code017122023:55:17,542WARNorg.apache.hadoop.h
通过Apache Flume向HDFS存储数据
_本笔记基于Hadoop2.7.3,ApacheFlume1.8.0。其中flumesource为netcat,flumechannel为memory,flumesink为hdfs。_1,配置flume代理文件配置一个flumeagent代理,在此名称为sh
zookeeper、hadoop、hbase单机伪分布式环境搭建(虚拟机vmware)
zookeeper单机多实例其实就是跑多个zk服务,以zkServer1为例,配置如下:其中192.168.29.128为虚拟机ip很重要<pre<codedataDir/virgil/zooserver/server1/datadataLogDir/virgil/zoos
hadoop集群搭建
hadoop集群搭建这里的集群只是一个单点登录的集群,没有做到正真的HA高可用,只是一个namenode节点多个datanode节点基本思路:先在一个节点上配置好hadoop集群将配置好的hadoop复制给其他的节点机配置ssh免密码登录(这里是为了第
Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
<blockquote声明:作者原创,转载注明出处。<p作者:<ahref"https://link.segmentfault.com/?encdro2F8LUhmwZK17A%2BHOYTg%3D%3D.nnDuRJfugHD9PCOdN5Qb4csrRWPf4Jh86gZ33DEv4B
Hadoop伪分布式集群搭建
<blockquote声明:作者原创,转载注明出处。<p作者:<ahref"https://link.segmentfault.com/?enc3Lnv3EsA2rX%2BpM7uO49i%2FA%3D%3D.ym70D1KKbpKcbTXuPETMItl7Uz3QvD8WaADHDAdO
Eclipse连接Hadoop集群及WordCount实践
<blockquote声明:作者原创,转载注明出处。<p作者:<ahref"https://link.segmentfault.com/?encmVMTopsIZsdZx9KUG3K31A%3D%3D.aT3e0v4cbGpG%2FEwIKngaQW75%2BOIcVralwamUf%2B
已加载文章中没有匹配内容,试试其他关键词或清空搜索。