文章
HIve的安装
1hadoophive的使用依赖hadoop,所以先介绍hadoop。1.1hadoop下载和安装笔者是在Centos7.3上安装的hadoop,使用的是hadoop3.2的版本。直接按照hadoop2.9文档(https://link.segmentfa
Giraph源码分析(六)——Edge 分析
1.在Vertex类中,顶点的存储方式采用邻接表形式。每个顶点有VertexId、VertexValue、OutgoingEdges和Halt,boolean型的halt变量用于记录顶点的状态,false时表示active,true表示inactive状态。片段代码如下。!(/img/r
hadoop安装解决之道
壹、故障现象<pre<codeMicrosoftWindows版本10.0.18362.239(c)2019MicrosoftCorporation。保留所有权利。C:\Users\Chirius>hadoopversion系统找不到指定的路径。E
Giraph 源码分析(五)—— 加载数据+同步总结
作者|白松关于Giraph共有九个章节,本文第五个章节。环境:在单机上(机器名:giraphx)启动了2个workers。输入:SSSP文件夹,里面有1.txt和2.txt两个文件。1、在Worker向Master汇报健康状况后,就开始等待Master创建Inp
Spark HA集群搭建
本教程基于HadoopHA集群搭建(https://segmentfault.com/a/1190000019873175)。版本介绍<table<thead<tr<thsoftware</th<thversion</th</tr</thead
Hadoop YARN:调度性能优化实践
背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL
MapReduce设计模式之连接模式和元模式
连接模式reduce端连接应用场景通过外键将多个数据集连接起来。包括内连接,左外连接,右外连接,全外连接,反外连接(全外连接内连接)。代码实现<pre<codeimportcom.alibaba.fastjson.JSON
菜鸟的Hadoop快速入门
一、相关概念1、大数据大数据是一门概念,也是一门技术,是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。大数据包括了以Hadoop和Spark为代表的基础大数据框架,还包括实时数据处理,离线数据处理,数据分析,数据挖掘和用机器算法进行预测分析等技术。
好程序员大数据学习路线hbase快速入门
好程序员大数据学习路线hbase快速入门Hbase简介1.Hbase是什么!图片描述(/img/bVbvG4X?w1310&h248)ApacheHBase是Hadoop数据库,一个分布式的、可伸缩的大数据存储。当您需要对大数据进行随机的、实时的读/写访问时,请使用Apache
mapreduce连接不上hdfs
配置环境hadoop环境真的是要命,随时都可以出现意向不到的问题,比如<pre<codeFailingthisattempt.Diagnostics:CallFromhadoop001/0.0.0.0tohadoop001:8020failedonconnection
已加载文章中没有匹配内容,试试其他关键词或清空搜索。