Hadoop集群的部署(二)
文章目录
在上一篇文章中,介绍了Hadoop集群的伪分布的部署,在读这篇前,建议先读上篇文章:Hadoop集群的部署(一)
这篇文章中我们将介绍Hadoop集群分布式的部署。
分布式集群的部署
虚拟机准备
分布式的集群,当然需要多个虚拟机的准备。这是使用3台虚拟机,其中一个为主节点,另外两个为从节点。其中,上篇文章中已经配置好的虚拟机当做主节点。
ip和主机名
两个从节点的ip分别为:192.168.19.11和192.168.19.12。
两个从节点的主机名分别为:hadoop101和hadoop102。
配置过程参见上一篇文章。
注意:这里在配置hosts文件的时候,不仅要配置自己的ip和主机名,还要设置另外两台的ip和主机名。即每台机器都要有如下的配置。
防火墙的关闭
防火墙都进行关闭。
ssh免密码登录
这一步在配置的时候有点不同。
伪分布时只有一台机器,所以只用实现自己登录自己就可以了。
但是在集群中设置免密码登录的时候,至少要实现主节点免密码登录其他所有节点。
注意:这里之前要看自己的三台机器的ip是否属于同一网段。如果不是,可能会出现连接不上的情况。
在主节点的机器上,使用命令:
ssh-copy-id -i hadoop101
ssh-copy-id -i hadoop102
这一步的时候还是需要输入对应从节点机器的密码的,然后再用ssh连接的时候就可以实现免密登录了。

拷贝jdk
将主节点上我们之前上传好的jdk拷贝到另外两天从节点上:
scp -rq /opt/jdk1.8/ hadoop101:/opt/然后还需要将环境变量的配置文件拷贝过去:
scp -rq /etc/profile hadoop101:/etc/然后我们到hadoop101机器上去确认一下:

接着再拷贝另一个从节点的。
hadoop安装
因为我们这里从伪分布式换成分布式,所以首先需要对之前的一些配置文件做些修改。
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop100:50090</value>
</property>
</configuration>注意:这里有两个从节点了,所以我们的备份数量改为2。然后设定secondaryNameNode的这个进程也是在主节点上启动。yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
</configuration>注意:这里多个一个属性,用来指定resourcemanager在主节点的机器上启动workers:
因为现在是集群的结构,我们需要告诉机器那些是从节点。
vim etc/hadoop/workers
默认是将本机作为从节点的,我们要将hadoop101和hadoop102两台机器作为从节点。
删掉之前的,将两台机器的主机名加上:
hadoop101
hadoop102拷贝hadoop目录到另外两台机器上:
scp -rq /opt/hadoop-3.2.1/ hadoop101:/opt重新格式化
因为我们这里相当是安装了一个新的集群,在首次启动集群前,需要对集群进行格式化。后面在启动就不需要了。
删除文件:
删除/data/hadoop_repo/文件夹。
格式化:
cd /opt/hadoop-3.2.1
bin/hdfs namenode -fotmat启动集群
启动:
sbin/start-all.sh查看进程:



主节点上3个进程,从节点上2个进程。启动成功。
总结
从伪分布式到分布式,整体的部署原理是基本一致的,但是在一些小的细节上有略微的差异。处理好这些差异,才能配置成功。
参考:

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论