Stella981的头像 ID: 10708576052

Stella981

HelloWorld 社区成员

Stella981

文章16974
个人网站0
加入社区2026

Hadoop配置多个HDFS入口

为了验证存在不同的hdfs之间的hive的互操作(归根结底还是为了解决BUG)需要在两个不同的hadoop集群的HDFS 能够在Hiveserver2上进行路由转发绕过一些坑。就需要将某hdfs集群的配置文件改改。。例如hdfssite.xmlEG:<?xmlversion"1.0"encoding"UTF8"?<?

Hadoop缺省端口列表

50030      mapred.job.tracker.http.address       描述:JobTrackeradministrativewebGUIJOBTRACKER的HTTP服务器和端口50070             dfs.http.address                            

Hadoop综合大作业

一、用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。1.启动hadoop!(https://oscimg.oschina.net/oscnet/e6b2225f65c582affaeaf71dd10f801fb98.bmp)2.Hdfs上创建文件夹并查看 !(https://oscimg.oschi

Hadoop的kerberos的实践部署

1.安装:通过yum安装即可,组成KDC。yuminstallykrb5serverkrb5libkrb5workstation2.配置:Kerberos的配置文件只有两个。在Hadoop1中创建以下两个文件,并同步/etc/krb5.conf到所有机器。/var/kerberos/krb5kdc/kdc.conf:包括

Hadoop生态圈

Hadoop生态圈CentOs7.5单机部署ClickHouse作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任。到了新的公司,认识了新的同事,生产环境也得你去适应新的集群环境,我新入职的公司的大数据开发同时并不看好hbase,而是对clickhouse青睐有加,听他们口头把ClickHouse吹的

Hadoop源代码分析(包hadoop.mapred中的MapReduce接口)

前面已经完成了对org.apache.hadoop.mapreduce的分析,这个包提供了HadoopMapReduce部分的应用API,用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的,目前MapReduce框架还是使用老系统(参考补丁HADOOP1230(https://www.oschina.net/act

Hadoop案例(十一)MapReduce的API使用

一学生成绩增强版数据信息!(https://oscimg.oschina.net/oscnet/dff6f4569f0ad0a3d4a5d427f9fb4b27c12.jpg)!(https://oscimg.oschina.net/oscnet/46cebb43ee0bf489f518b38f4d0c

Hadoop框架:集群模式下分布式环境搭建

本文源码:GitHub·点这里||GitEE·点这里一、基础环境配置1、三台服务准备三台Centos7服务,基础环境从伪分布式环境克隆过来。133hop01,134hop02,136hop032、设置主机名设置名称hostnamectlsethostn

Hadoop框架:单服务下伪分布式集群搭建

本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

Hadoop框架:Yarn基本结构和运行原理

本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

Hadoop框架:NameNode工作机制详解

本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

Hadoop框架:MapReduce基本原理和入门案例

本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

Hadoop框架:HDFS高可用环境配置

本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

Hadoop框架:HDFS读写机制与API详解

本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

Hadoop框架:HDFS简介与Shell管理命令

本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

Hadoop框架:DataNode工作机制详解

本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

Hadoop极简入门

建议复习:分布式理论基础和原理(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNTU2Mg%3D%3D%26mid%3D2247483953%26idx%3D1%26sn%3Ddb7

Hadoop机架感知

倘若世子殿下身死拒北城外会有一断手残脚青年自中原而来拾春秋剑入陆地神仙仰头望天而喊我温不胜在此恭请拓跋菩萨赴死!_订正:__在上篇文中NM类比为部门负责人一段中,段中的RM应为NM,感谢_DN_同学的指正。_1.数据分块HDFS作为Hadoop中的一个分布式文件系统,

Hadoop是一种开源的适合大数据的分布式存储和处理的平台

“Hadoop能做什么?”,概括如下:  1)搜索引擎:这也正是DougCutting设计Hadoop的初衷,为了针对大规模的网页快速建立索引;  2)大数据存储:利用Hadoop的分布式存储能力,例如数据备份、数据仓库等;  3)大数据处理:利用Hadoop的分布式处理能力,例如数据挖掘、数据分析等;  4)