HADOOP集群搭建

这里准备的是四台虚拟机(使用的是centOS7)&hadoop 3.2.1版本(需要安装好jdk )

配置host方便后期用域名访问
image.png

hadoop下载地址为: https://www.apache.org/dyn/cl...

注: 3.0 后的 hadoop 要求jdk最低1.8

先使用相关上传工具上传到其中master主节点中, 最好节点之间配置好scp (也可以一个个上传, 使用scp可能要快些,区别不大)
image.png
这里使用的安装目录是 /usr/local, 可随意

上传至所有节点的 /usr/local 下

解压

tar -zxvf hadoop-3.2.1.tar.gz 

##### hadoop 环境配置
修改 hadoop-env.sh

cd hadoop-3.2.1/etc/hadoop/
vim hadoop-env.sh

image.png

修改 core-site.xml

vim core-site.xml
<configuration>
 <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
    <description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
    <description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
vim hdfs-site.xml

设置节点信息 默认 replication 为3, 可以不做设置, 应小于datanode机器数量

<configuration>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9000</value>
</property>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/dfs/name</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/dfs/data</value>
</property>

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
</configuration>

配置环境变量

JAVA_HOME=/usr/local/java
HADOOP_HOME=/usr/local/hadoop
PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH

#刷新配置
. /etc/profile

增加一个指向地址:
ln -s /usr/local/hadoop-3.2.1 /usr/local/hadoop
image.png
方便使用, 如果不做配置的话, 以上所以配置文件中的 hadoop 全部需要修改成 hadoop-3.2.1, 或者直接将文件名称修改也可

配置成功
image.png

master 节点初始化元空间(也就是要作为 name node 的节点 )

hadoop namenode -format

能看到已经初始化结构成功
image.png

启动name node 节点

hadoop-daemon.sh start namenode

可以 jps 查看一下 当前线程号,我这里使用的是 9870 端口, 注意了: 3.0 之前使用的是 50070 端口
image.png

或直接通过端口号访问, Windows需要设置host

name node 启动成功
image.png

可以看到,因为还没有启动 datanode ,所以目前可用磁盘, 已用磁盘都为空
image.png

启动datanode

hadoop-daemon.sh start namenode

刷新页面
image.png

image.png

配置成功!

注意: 如果需要一件启动或停止所有节点的 slave, 3.0 版本后需要在 workers 中配置节点域名& ssh 免密登录

vim vim etc/hadoop/workers 

image.png

使用停止命令
image.png

这种情况是需要配置 start-dfs.sh,stop-dfs.sh 的
文件顶部添加以下参数(参考 https://www.cnblogs.com/woofw... )
注: 2.0 配置 slave即可

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

停止成功
image.png

注意: 使用 sh hadoop fs -ls / 出现报错

/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-functions.sh: line 398: syntax error near unexpected token `<'
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-functions.sh: line 398: `  done < <(for text in "${input[@]}"; do'
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 70: hadoop_deprecate_envvar: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 87: hadoop_bootstrap: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 104: hadoop_parse_args: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 105: shift: : numeric argument required
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 110: hadoop_find_confdir: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 111: hadoop_exec_hadoopenv: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 112: hadoop_import_shellprofiles: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 113: hadoop_exec_userfuncs: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 119: hadoop_exec_user_hadoopenv: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 120: hadoop_verify_confdir: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 122: hadoop_deprecate_envvar: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 123: hadoop_deprecate_envvar: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 124: hadoop_deprecate_envvar: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 129: hadoop_os_tricks: command not found
/usr/local/hadoop-3.2.1/bin/../libexec/hadoop-config.sh: line 131: hadoop_java_setup: command not found

需要修改 hadoop-env.sh 中的 HDFS_NAMENODE_USER 为 根用户,或当前用户, 然后使用 停止现在正在运行的namenode
重新format即可
hdfs namenode -format

删除原datannode节点下的dfs文件, 可以看到,因为namenode重新format了, 所以对于节点集群ID出现了不一致现象, 需要删除然后重新启动对应节点, 这里由于之前配置了全部重启命令, 所以只需要 sbin/stop-dfs.sh 然后删除目录再 sbin/start-dfs.sh 即可
image.png

效果:
image.png

上传成功:
image.png
image.png

参考: https://stackoverflow.com/que...

评论

暂无评论