躬行系列-自动故障转移-hadoop
文章目录
接手动配置的上文
增加HA配置
hdfs-site.xml
<!--启用nn故障自动转移-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>core-site.xml
<!--指定zkfc连接的zk地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop-4:2181,hadoop-5:2181,hadoop-6:2181</value>
</property>如果你用的是root用户执行命令,你需要在start-dfs.sh stop-dfs.sh添加如下配置
HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=rootstart-yarn.sh stop-yarn.sh添加
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root执行
- 群启脚本
start-dfs.sh- 群停脚本
stop-dfs.sh- 启动zookeeper
zk.sh start- 初始化zkfc
hdfs zkfc -formatZKstart-dfs.sh- 登录到zkCli.sh查看选举结果
get -s /hadoop-ha/gms-cluster/ActiveStandbyElectorLock
常用命令
查看集群状态hadoop dfsadmin -report
问题
9870的web控制台,创建文件夹权限不足
需要在hdfs-core.xml添加配置,禁用权限校验
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>com.jcraft.jsch.JSchException: Auth fail
解决以上报错参考:https://blog.csdn.net/lanache...
测试上传文件
hadoop fs -put /root/jdk-11.0.15_linux-x64_bin.tar.gz /
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论