hadoop安装

一、安装VM
二、安装centos8.4
三、安装hadoop
1.创建用户
①切换root用户 su
②增加用户 useradd -m hadoop -s /bin/bash
③密码 passwd hadoop
④为用户增加管理员权限 vim /etc/sudoers 或者 visudo
找到 root ALL=(ALL) ALL 这行,按i,进入插入模式,在这行下面增加一行内容hadoop ALL=(ALL) ALL,按ESC 键,然后输入":wq" ,再按回车退出编辑(空格为tab键)
⑤前面增加管理员账号后,需要用sudo才能执行管理员权限,为了方便直接更改/opt/下文件的权限 chmod -R 777 /opt/
⑥/opt/下创建文件夹用于储存数据
用于储存软件 mkdir soft
用于储存数据 mkdir datas
用于储存hadoop等安装 mkdir modules
image.png
2.SSH
①查看是否安装SSH rpm -qa | grep ssh
②[hadoop@my ~]$ cd ~/.ssh/
[hadoop@my .ssh]$ ssh-keygen -t rsa
一直按回车
[hadoop@my .ssh]$ cat id_rsa.pub >> authorized_keys
[hadoop@my .ssh]$ chmod 600 ./authorized_keys
image.png
3.安装jdk
①查询是否安装JAVA环境 rpm -qa | grep java
②若有JAVA环境,则卸载 rpm -e --nodeps [各个JAVA]
③将文件解压到目录 tar -zxvf jdk-7u80-linux-x64.tar.gz -C /opt/modules/
④配置JVAV环境变量 vim /etc/profile
export JAVA_HOME=/opt/modules/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin
强制刷新配置文件 source /etc/profile
image.png
4.安装hadoop
①解压文件 tar -zxvf hadoop-3.3.1.tar.gz -C /opt/modules/
② 修改etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.8.0_301
③创建文件目录 [hadoop@my hadoop-3.3.1]$ mkdir data
[hadoop@my hadoop-3.3.1]$ cd data
[hadoop@my data]$ mkdir tmp
修改etc/hadoop/core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://my:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoop-3.3.1/data/tmp</value>
</property>

④修改etc/hadoop/hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

⑤修改etc/hadoop/mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

⑥修改etc/hadoop/mapred-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
</property>

⑦
⑧
⑨
备注:
firewall-cmd --state --查看防火墙状态
systemctl start firewalld.service --打开防火墙
systemctl stop firewalld.service --关闭防火墙
systemctl disable firewalld.service --永久关闭防火墙
[hadoop@my hadoop-3.3.1]$ bin/hdfs dfs -mkdir /user
[hadoop@my hadoop-3.3.1]$ bin/hdfs dfs -mkdir /user/hadoop

评论

暂无评论