Wesley13 Wesley13
4年前
SSH公钥无密码认证
1)在master主机上生成密码对sshkeygen–trsa–P''确认一路回车,命令默认会在用户主目录下生成.ssh目录,你们有两密钥对文件:id\_rsa和id\_rsa.pubmaster@hadoop~$ll.ssh/rw.1mastermaster1675Jun
Wesley13 Wesley13
4年前
java程序中获取kerberos登陆hadoop
本文由作者周梁伟授权网易云社区发布。一般我们在使用kbs登陆hadoop服务时都直接在shell中调用kinit命令来获取凭证,这种方式简单直接,只要获取一次凭证之后都可以在该会话过程中重复访问。但是这种方式一个明显的问题就是如果在本次shell中会间隔调用不同的java程序,而这些程序需要访问不同权限的问题,需要在访问前调用各自的ktab文件获
Stella981 Stella981
4年前
CDH的Hadoop集群修改主机名
  最近自己掏了三台二手主机,自己搭建了套CDH的集群,搭建是随手起了几个主机名就搭建好了。  有次突发奇想,用手机登录管理cm管理页面看看,果真能用。只是在里面点着点着,发现cdh很多页面链接都是用的主机名,而我的手机又是无法修改hosts。  后来又想到自己有一个域名,于是就在想把我的主机名都命名为我的二级域名,然后再把域名映射到我的
Stella981 Stella981
4年前
500G 史上最全的JAVA全套教学视频网盘分享
500GJAVA视频网盘分享(JEECG开源社区)\涵盖从java入门到深入架构,Linux、云计算、分布式、大数据Hadoop、ios、Android、互联网技术应有尽有\500GJAVA视频网盘分享(JEECG开源社区)\涵盖从java入门
Stella981 Stella981
4年前
Kafka 配置安装
1.从官网下载安装包http://kafka.apache.org/downloads2.上传到01虚拟机,解压3.进入安装目录下的config目录4.对server.properties进行配置\root@hadoop01config\vimserver.properties配置示例:broker
Stella981 Stella981
4年前
Hadoop框架:Yarn基本结构和运行原理
本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent
Stella981 Stella981
4年前
Couldn’t resolve host
  在CentOS6.6上尝试安装hadoop时,遇到了yumpycurcouldn'tresolvehost的错误,但能ping通域名,尝试了网上的好多方法,终于找到了一个合理的解释,并解决了问题。 详细见curl:(6)Couldn’tresolvehost(https://www.oschina.net/action/G
Wesley13 Wesley13
4年前
JUC——JUC开发简介(一)
前言JUC是Java5.0开始提供的一组专门实现多线程并发处理的开发框架,利用JUC开发架构可以有效的解决实际线程项目开发之中出现的死锁、阻塞、资源访问与公平机制。此笔记主要记录java.util.concurrent开发包之中的各个核心组成类的使用、操作原理分析,并且通过具体的实际代码对多线程的开发实际环境进行原理分析,同时方便自己随时复习掌
Stella981 Stella981
4年前
Hadoop2.x 常用命令
基本命令格式为:hdfsdfscmd<args1\.\ls path列出path目录下的内容,包括文件名,权限,所有者,大小和修改时间。2\.\lsR path与ls相似,但递归地显示子目录下的内容。3\.\dupath显示path下所有文件磁盘使用情况下,用字节大小表示