文章
Hadoop面试题总结—MapReduce
1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?1)序列化和反序列化(1)序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储(持久化)和网络传输。(2)反序列化就是将收到字节序列(或其他数据传输协议)或者是硬盘的持久化数据,转换成内存中的对象。(3)Java
Cloudera Manager 术语和架构
简介:本文介绍了ClouderaManager的常见术语和架构ClouderaManager术语为了有效地使用ClouderaManager,您应该首先了解其术语。术语之间的关系如下所示,其定义如下:!image.png(https://imghello
Hadoop 入门笔记 十九: MapReduce并行度机制
一.MapReduce并行度机制1.MapTask并行度机制1.概念MapTask的并行度指的是map阶段有多少个并行的task共同处理任务。map阶段的任务处理并行度,势必影响到整个job的处理速度。那么,MapTask并行实
Hadoop 入门笔记 十八: MapReduce基础编程
一.MapReducemapReducePatitionCombiner1.Partition分区1.默认情况在默认情况下,不管map阶段有多少个并发执行task,到reduce阶段,所有的结果都将有一个reduce来处理,并且最终结果输
大数据开发之Hadoop集群安装教程
配置文件的修改注意:以下所有操作都在node01主机进行。1.1hadoopenv.sh1、介绍文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的,即使我们当前的系统中设置了JAVA_HOME,它也是不认识的,因为Hadoop即使是在本机上执行,它也是把当前的
Hadoop 入门笔记 十七 : MapReduce入门与基础理论
一.MapReduce基础理论1.MapReduce思想MapReduce思想在生活中处处可见,每个人或多或少都曾接触过这种思想。MapReduce的思想核心是“先分再合,分而治之”,所谓“分而治之”就是把一个复杂的问题,按照一定的“分解”方法分为等
Hadoop 入门笔记 十六 : HDFS核心源码解析
一.HDFS客户端核心代码1.ConfigurationConfiguration提供对配置参数的访问,通常称之为配置文件类。主要用于加载或者设定程序运行时相关的参数属性。1.Configuration加载默认配置首先加载了静态
Hadoop 入门笔记 十五 : HDFS数据安全与隐私保护
一.Trash垃圾回收1.背景DFS本身也是一个文件系统,那么就会涉及到文件数据的删除操作。默认情况下,HDFS中是没有回收站垃圾桶概念的,删除操作的数据将会被直接删除2.功能概述Trash机制,叫做回收站或者垃圾桶。Trash就像Win
Hadoop 入门笔记 十四 : HDFS架构原理
一.HDFS架构剖析1.HDFS整体概述HDFS是HadoopDistributeFileSystem的简称,意为:Hadoop分布式文件系统。是Hadoop核心组件之一,作为大数据生态圈最底层的分布式存储服务而存在。HDFS解决的问题就是大数据如何存
搭建Hadoop2.7.2和Hive2.3.3以及Spark3.1.2
Hadoop简介Hadoop是一个用Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器,每个都提供本地计算和存储。
已加载文章中没有匹配内容,试试其他关键词或清空搜索。