Hadoop3.x完全分布式集群搭建教程(一)
文章目录
前言
集群规划:
5台机器:
| hadoop101 | hadoop102 | hadoop103 | hadoop104 | hadoop105 | |
|---|---|---|---|---|---|
| HDFS | NameNode | NameNode | DataNode | DataNode | DataNode |
| YARN | ResourceManager | ResourceManager | NodeManager | NodeManager | NodeManager |
| Zookeeper | √ | √ | √ |
版本:
| Hadoop | 3.1.3 |
|---|---|
| Jdk | 1.8 |
| Zookeeper | 3.6.2 |
在写这篇博客之前,已经刷完
大数据课程/Hadoop精品实战大数据开发学习课程【海牛学院】
跟着这个教程已经成功搭建有5台虚拟机的集群,但视频里的一些理论知识我听的稀里糊涂的(老师讲的很好,是我没耐心听完)。
现在结合尚硅谷Hadoop教程(hadoop框架精讲)的文档重新搭建出有5台虚拟机的集群,
目的是为了避免盲目地敲命令,再就是重新学习理论知识(个人感觉海牛学院讲的比较好,但使用的hadoop版本是2.x,尚硅谷用的是3.x)。
本篇博客和之后的博客都会借鉴两个教程的文档以及《Hadoop权威指南》
所需的软件包和配置文件在这
链接:https://pan.baidu.com/s/1wkiH...
提取码:a6r2
复制这段内容后打开百度网盘手机App,操作更方便哦--来自百度网盘超级会员V1的分享
第一台虚拟机的环境
先配置好第一台虚拟机,然后再克隆(也可以直接克隆,然后到时候把配置好的文件分发给其它机器,不过有点麻烦)。
我使用Xshell操作虚拟机,也可使用secureCRT等工具。
1.基础的设置
普通虚拟机都会进行的设置
(1)虚拟机配置
版本:CentOS7
配置:2G内存,50G硬盘(内存后期可调,硬盘后期拓展比较麻烦,一开始设置的大一点比较好)
网络连接:NAT
(2)安装必要环境
sudo yum install -y epel-release psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git unzip zip psmisc(3)给虚拟机设置静态ip
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33注意:有些虚拟机这个文件的名字可能不叫ifcfg-ens33,可以先cd /etc/sysconfig/network-scripts,然后对ifcfg-exxx 文件进行编辑
将BOOTPROTO="dhcp"改为BOOTPROTO="static",然后添加:
IPADDR="192.168.1.101"
GATEWAY="192.168.1.2"
DNS1="192.168.1.2"注意:ip地址可以改变,如果你是小白还是乖乖地还是和我设置的一样。
(4)其它的一些修改
- 依次点击vm工具栏中的 编辑->虚拟网络编辑器->VMnet8
将红圈处改为1,和前面的ip地址第三位相同
点击NAT设置,将网关地址修改为前面的ifcfg-ens33文件中`GATEWAY="192.168.1.2"`
注意:IPADDR、GATEWAY翻译过来就是ip地址、网关。所以要修改这些设置,使其和linux中的设置相同
- 进入控制面板->网络和 Internet->网络连接->VMware Network Adapter VMnet8(右键)->属性

选择以上->属性->修改为如下
(5)测试是否有网
ping www.baidu.com2.Hadoop集群需要的设置
(1)修改主机名
sudo hostnamectl --static set-hostname hadoop101(2)配置主机名称映射
- linux
打开/etc/hosts
sudo vim /etc/hosts添加如下内容
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105- 自己电脑的的主机
进入C:\Windows\System32\drivers\etc路径,打开hosts文件并添加如下内容
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
(3)关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld(4)创建hadoop用户
sudo useradd hadoop
sudo passwd hadoop用户名和密码自己决定就好
(5)重启虚拟机
reboot(6)配置hadoop用户具有root权限
sudo vim /etc/sudoers- 找到下面一行(91行),在root下面添加一行,如下所示:
# Allow root to run any commands anywhere
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL(7)在/opt目录下创建文件夹
- 在/opt目录下创建module、software文件夹
sudo mkdir /opt/module /opt/software- 修改module、software文件夹的所有者
sudo chown hadoop:hadoop /opt/module /opt/software(8)安装Jdk、Hadoop、Zookeeper
如果你用的Xshell操作虚拟机,可以使用rz命令上传本地的文件至虚拟机
- 将本地的软件包上传至/opt/software
cd /opt/software
rz
- 解压
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
tar -zxvf zookeeper-3.6.2-bin.tar.gz -C /opt/module/
- 给zookeeper改个名
mv /opt/module/apache-zookeeper-3.6.2-bin /opt/module/zookeeper-3.6.2- 将Jdk、Hadoop添加到环境变量
sudo vim /etc/profile.d/my_env.sh添加以下:
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.6.2
export PATH=$PATH:$ZOOKEEPER_HOME/bin- 重启后查看是否安装成功
rebootjava -version
hadoop version至此,第一台虚拟机的设置完成,接下来开始克隆虚拟机
克隆虚拟机的设置
1.克隆虚拟机
(1)关机hadoop101然后:
记得选择这个:
2.修改主机名
sudo hostnamectl --static set-hostname hadoop1023.修改ip地址
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33IPADDR="192.168.1.101"改为IPADDR="192.168.1.102"
其它的克隆虚拟机,如: hadoop103,其设置跟上面一样,只是主机名为hadoop103,ip地址为192.168.1.103。
4.重启
感想
这是我在万维网写下的第一篇日博客,2018年初开始接触前端,2019年开始考研,在这两年间总是习惯于直接上手代码而忽略基础知识也不喜于复习,到现在,感觉什么都没学到,脑内空空如也,真不好意思说自己是研究生。再这样下去又要经历毕业即失业的痛苦。
所以决定用写博客的方式帮助自己梳理知识点,同时提高自己的表达能力,希望一年后的我有所不同。
——2020/11/17

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论