Hadoop 2.6.0 HA高可用集群配置详解(二)
文章目录
Zookeeper集群安装
Zookeeper是一个开源分布式协调服务,其独特的Leader-Follower集群结构,很好的解决了分布式单点问题。目前主要用于诸如:统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用Zookeeper的集群管理功能。
本集群使用zookeeper-3.4.5-cdh5.7.1版本。首先在Hadoop-slave1节点安装Zookeeper,方法如下:
// 新建目录
$ mkdir app/cdh
// 解压zookeeper安装包
$ tar -xvf zookeeper-3.4.5-cdh5.7.1.tar.gz -C app/cdh/
// 删除安装包
$ rm -rf zookeeper-3.4.5-cdh5.7.1.tar.gz
// 配置用户环境变量
$ vim .bash_profile
export ZOOKEEPER_HOME=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1
export PATH=$PATH:$ZOOKEEPER_HOME/bin
// 使修改的环境变量生效
$ source.bash_profile
// 修改zookeeper的配置文件
$ cd app/cdh/zookeeper-3.4.5-cdh5.7.1/conf/
$ cp zoo_sample.cfg zoo.cfg
$ vim zoo.cfg
客户端心跳时间(毫秒)
tickTime=2000
允许心跳间隔的最大时间
initLimit=10
同步时限
syncLimit=5
数据存储目录
dataDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data
数据日志存储目录
dataLogDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data/log
端口号
clientPort=2181
集群节点和服务端口配置
server.1=hadoop-slave1:2888:3888
server.2=hadoop-slave2:2888:3888
server.3=hadoop-slave3:2888:3888
以下为优化配置
服务器最大连接数,默认为10,改为0表示无限制
maxClientCnxns=0
快照数
autopurge.snapRetainCount=3
快照清理时间,默认为0
autopurge.purgeInterval=1
// 创建zookeeper的数据存储目录和日志存储目录
$ cd ..
$ mkdir -p data/log
// 在data目录中创建一个文件myid,输入内容为1
$ echo "1" >> data/myid
// 修改zookeeper的日志输出路径(注意CDH版与原生版配置文件不同)
$ vim libexec/zkEnv.sh
if [ "x${ZOO_LOG_DIR}" = "x" ]
then
ZOO_LOG_DIR="$ZOOKEEPER_HOME/logs"
fi
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi
// 修改zookeeper的日志配置文件
$ vim conf/log4j.properties
zookeeper.root.logger=INFO,ROLLINGFILE
// 创建日志目录
$ mkdir logs
将hadoop-slave1节点上的Zookeeper目录同步到hadoop-slave2和hadoop-slave3节点,并修改Zookeeper的数据文件。此外,不要忘记设置用户环境变量。
// 在hadoop-slave1中将zookeeper目录复制到其它节点
$ cd ~
$ scp -r app/cdh/zookeeper-3.4.5-cdh5.7.1hadoop-slave2:/home/hadoop/app/cdh
$ scp -r app/cdh/zookeeper-3.4.5-cdh5.7.1 hadoop-slave3:/home/hadoop/app/cdh
//在hadoop-slave2中修改data目录中的myid文件
$ echo "2" >app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid
//在hadoop-slave3中修改data目录中的myid文件
$ echo "3" >app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid
最后,在安装了Zookeeper的各节点上启动Zookeeper,并查看节点状态,方法如下:
// 启动
$ zkServer.sh start
// 查看状态
$ zkServer.sh status
// 关闭
$ zkServer.sh stop
Hadoop HA配置
// 在hadoop-master1节点解压hadoop安装包 $ tar-xvf hadoop-2.6.0-cdh5.7.1.tar.gz -C /home/hadoop/app/cdh/
// 删除安装包 $ rmhadoop-2.6.0-cdh5.7.1.tar.gz
// 修改hadoop-env.sh文件 $ cd/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/etc/hadoop
$ vimhadoop-env.sh exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79
// 配置core-site.xml文件 $ vim core-site.xml
fs.defaultFS hdfs://mycluster hadoop.tmp.dir /home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/tmp fs.trash.interval 1440 ha.zookeeper.quorum hadoop-slave1:2181,hadoop-slave2:2181,hadoop-slave3:2181// 配置hdfs-site.xml文件 $ vim hdfs-site.xml
dfs.namenode.name.dir /home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/namenode dfs.datanode.data.dir /home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/datanode dfs.replication 3 dfs.permissions.enabled false dfs.webhdfs.enabled true dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 hadoop-master1:8020 dfs.namenode.rpc-address.mycluster.nn2 hadoop-master2:8020 dfs.namenode.http-address.mycluster.nn1 hadoop-master1:50070 dfs.namenode.http-address.mycluster.nn2 hadoop-master2:50070 dfs.namenode.shared.edits.dir qjournal://hadoop-slave1:8485;hadoop-slave2:8485;hadoop-slave3:8485/mycluster dfs.journalnode.edits.dir /home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/journal dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /home/hadoop/.ssh/id\_rsa dfs.ha.automatic-failover.enabled true// 配置mapred-site.xml文件 $ vim mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address hadoop-master1:10020 mapreduce.jobhistory.webapp.address hadoop-master1:19888 mapreduce.job.ubertask.enable true mapreduce.job.ubertask.maxmaps 9 mapreduce.job.ubertask.maxreduces 1// 配置yarn-site.xml文件 $ vim yarn-site.xml
yarn.nodemanager.aux-services mapreduce\_shuffle yarn.web-proxy.address hadoop-master2:8888 yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800 yarn.nodemanager.remote-app-log-dir /logs yarn.nodemanager.resource.memory-mb 2048 yarn.nodemanager.resource.cpu-vcores 2 yarn.resourcemanager.ha.enabled true yarn.resourcemanager.ha.automatic-failover.enabled true yarn.resourcemanager.cluster-id yarncluster yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 hadoop-master1 yarn.resourcemanager.hostname.rm2 hadoop-master2 yarn.resourcemanager.webapp.address.rm1 hadoop-master1:8088 yarn.resourcemanager.webapp.address.rm2 hadoop-master2:8088 yarn.resourcemanager.zk-address hadoop-slave1:2181,hadoop-slave2:2181,hadoop-slave3:2181 yarn.resourcemanager.zk-state-store.parent-path /rmstore yarn.resourcemanager.recovery.enabled true yarn.resourcemanager.store.class org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore yarn.nodemanager.recovery.enabled true yarn.nodemanager.address 0.0.0.0:45454// 配置slaves文件 $ vimslaves hadoop-slave1 hadoop-slave2 hadoop-slave3
// 创建配置文件中涉及的目录 $ cd/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/
$ mkdir-p data/tmp
$ mkdir-p data/journal
$ mkdir-p data/namenode
$ mkdir-p data/datanode
// 将hadoop工作目录同步到集群其它节点 $ scp-r /home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/hadoop-master2:/home/hadoop/app/cdh/ scp -r/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/ hadoop-slave1:/home/hadoop/app/cdh/ scp -r/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/ hadoop-slave2:/home/hadoop/app/cdh/ scp -r/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/ hadoop-slave3:/home/hadoop/app/cdh/
// 在集群各节点上修改用户环境变量 $ vim .bash_profile export HADOOP_HOME=/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1 export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
// 使修改的环境变量生效 $ source.bash_profile
// 解决本地库文件不存在的问题 在apache官网下载hadoop-2.6.0.tar.gz,解压后将lib/native下所有文件复制到$HADOOP_HOME/lib/native中。
Hadoop集群的初始化
// 启动zookeeper集群(分别在slave1、slave2和slave3上执行) $ zkServer.shstart
// 格式化ZKFC(在master1上执行) $ hdfszkfc -formatZK
// 启动journalnode(分别在slave1、slave2和slave3上执行) $ hadoop-daemon.shstart journalnode
// 格式化HDFS(在master1上执行) $ hdfsnamenode -format
// 将格式化后master1节点hadoop工作目录中的元数据目录复制到master2节点 $ scp-r app/cdh/hadoop-2.6.0-cdh5.7.1/data/namenode/*hadoop-master2:/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/namenode/
// 初始化完毕后可关闭journalnode(分别在slave1、slave2和slave3上执行) $ hadoop-daemon.shstop journalnode
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论