Hadoop配置多个HDFS入口

Stella981
• 阅读 529

为了验证存在不同的hdfs之间的hive的互操作(归根结底还是为了解决BUG)

需要在两个不同的hadoop集群的HDFS  能够在Hiveserver2上进行路由转发绕过一些坑。

就需要将某hdfs集群的配置文件改改。。

例如hdfs-site.xml

EG:

dfs.nameservices sfbd,sfbdp1,oldsfbdp1,oldsfbd       dfs.ha.namenodes.sfbd nn1,nn2 dfs.namenode.rpc-address.sfbd.nn1 CNSZ17PL1782:8020 dfs.namenode.rpc-address.sfbd.nn2 CNSZ17PL1783:8020 dfs.namenode.http-address.sfbd.nn1 CNSZ17PL1782:50070 dfs.namenode.http-address.sfbd.nn2 CNSZ17PL1783:50070 dfs.client.failover.proxy.provider.sfbd org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.namenode.shared.edits.dir.sfbd qjournal://CNSZ17PL1786:8485;CNSZ17PL1787:8485;CNSZ17PL1788:8485;CNSZ17PL1789:8485;CNSZ17PL1790:8485/sfbd dfs.ha.namenodes.sfbdp1 nn1,nn2 dfs.namenode.rpc-address.sfbdp1.nn1 CNSZ17PL1784:8020 dfs.namenode.rpc-address.sfbdp1.nn2 CNSZ17PL1785:8020 dfs.namenode.http-address.sfbdp1.nn1 CNSZ17PL1784:50070 dfs.namenode.http-address.sfbdp1.nn2 CNSZ17PL1785:50070 dfs.client.failover.proxy.provider.sfbdp1 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.namenode.shared.edits.dir.sfbdp1 qjournal://CNSZ17PL1786:8485;CNSZ17PL1787:8485;CNSZ17PL1788:8485;CNSZ17PL1789:8485;CNSZ17PL1790:8485/sfbdp1 dfs.client.failover.proxy.provider.oldsfbdp1 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.namenodes.oldsfbdp1 namenode313,namenode411 dfs.namenode.rpc-address.oldsfbdp1.namenode313 cnsz17pl1206:8020 dfs.namenode.http-address.oldsfbdp1.namenode313 cnsz17pl1206:50070 dfs.namenode.rpc-address.oldsfbdp1.namenode411 cnsz17pl1207:8020 dfs.namenode.http-address.oldsfbdp1.namenode411 cnsz17pl1207:50070 dfs.ha.namenodes.oldsfbd nn1,nn2 dfs.namenode.rpc-address.oldsfbd.nn1 cnsz23pl0090:8020 dfs.namenode.rpc-address.oldsfbd.nn2 cnsz23pl0091:8020 dfs.namenode.http-address.oldsfbd.nn1 cnsz23pl0090:50070 dfs.namenode.http-address.oldsfbd.nn2 cnsz23pl0091:50070 dfs.client.failover.proxy.provider.oldsfbd org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.namenode.name.dir file:///data/dfs/nn/local dfs.datanode.data.dir /HDATA/12/dfs/local,/HDATA/11/dfs/local,/HDATA/10/dfs/local,/HDATA/9/dfs/local,/HDATA/8/dfs/local,/HDATA/7/dfs/local,/HDATA/6/dfs/local,/HDATA/5/dfs/local,/HDATA/4/dfs/local,/HDATA/3/dfs/local,/HDATA/2/dfs/local,/HDATA/1/dfs/local dfs.journalnode.edits.dir /data/dfs/jn dfs.qjournal.start-segment.timeout.ms 60000 dfs.qjournal.prepare-recovery.timeout.ms 240000 dfs.qjournal.accept-recovery.timeout.ms 240000 dfs.qjournal.finalize-segment.timeout.ms 240000 dfs.qjournal.select-input-streams.timeout.ms 60000 dfs.qjournal.get-journal-state.timeout.ms 240000 dfs.qjournal.new-epoch.timeout.ms 240000 dfs.qjournal.write-txns.timeout.ms 60000 dfs.namenode.acls.enabled true Number of replication for each chunk. dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /home/hdfs/.ssh/id\_rsa dfs.ha.automatic-failover.enabled true dfs.permissions.superusergroup hadoop dfs.datanode.max.transfer.threads 8192 dfs.hosts.exclude /app/hadoop-conf/exclude.list List of nodes to decommission dfs.datanode.fsdataset.volume.choosing.policy org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold 10737418240 dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction 0.75 dfs.client.read.shortcircuit.streams.cache.size 1000 dfs.client.read.shortcircuit.streams.cache.expiry.ms 10000 dfs.client.read.shortcircuit true dfs.domain.socket.path /app/var/run/hadoop-hdfs/dn.\_PORT dfs.client.read.shortcircuit.skip.checksum false dfs.block.size 134217728 dfs.replication 3 dfs.namenode.handler.count 300 dfs.datanode.handler.count 40 dfs.webhdfs.enabled true dfs.namenode.datanode.registration.ip-hostname-check false
点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Hadoop2.7.3完全分布式集群安装过程
需要安装的软件Hadoop包含HDFS集群和YARN集群。部署Hadoop就是部署HDFS和YARN集群。机器数量、角色4台。NameNode1台、DataNode3台主机名IP角色amaster192.168.37.143NameNode:9000ResourceManag
Stella981 Stella981
2年前
Hadoop压缩
一、Hadoop压缩简介1、hadoop的3个阶段(1)分布式文件系统HDFS(2)分布式编程框架MapReduce(3)yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储(HDFS)读写字
Wesley13 Wesley13
2年前
HDFS的升级管理
升级HDFS的概要过程和命令Hadoop的官方文档中,对于HDFS的升级建议分三个步骤,1,先停掉HDFS服务,再启动,HDFS合并FsEditLog到FsImage之中,再停掉HDFS服务,2,备份namenode的meta文件,在新版本HDFS安装目录的配置文件中,配置namenode的meta文件目录指向旧有的meta文件目录,以upg
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
4个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这