文章
kafka源码解析1:Cluster集群信息
概述KafkaProducer运行过程中需要用到集群元信息,这部分信息存在Cluster中Node,TopicPartition和PartitionInfoCluster集群元信息由三种类型的对象组合Node,TopicPartition,Par
hadoop2.4.1伪分布式搭建
1.准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置>双击vmnetcfg.exe>VMnet1hostonly>修改subnetip设置网段:192.168.1.0子网掩码:255.255.255.0>apply
MR导入数据到HBase TableOutputFormat无法识别
环境:win10,编译器idea前提:jar包都是用maven自动导入的写MR程序时,需要导入数据到HBase,但TableOutputFormat类编译器无法识别。需要在pom.xml文件中引入jar包,查了下,该类来自org.apache.hadoop.hbase.mapreduce包依赖hb
HDFS详细介绍
<blockquote之前有人问我,&34;我放了一个<em</em.avi在linux服务器上,你肯定找不到嘻嘻&34;。登上去发现etc文件夹大了好几个G。。。。</blockquote<pre<code你4不4撒,你为什么不把avi切成多块,放到不同服务器上,这谁能发现
好程序员大数据学习路线分享Hadoop阶段的高可用配置
大数据学习路线分享Hadoop阶段的高可用配置,什么是Hadoop的HA机制 Ha机制即Hadoop的高可用(724小时不中断服务) 正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制 hadoopha严格来说应该分成各个组件的HA机制——HDFS的HA、
好程序员大数据学习路线分享hadoop常用四大模块文件
好程序员大数据学习路线分享hadoop常用四大模块文件 1.1.1coresite.xml(工具模块) 包括Hadoop常用的工具类,由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileS
好程序员大数据学习路线Hadoop学习干货分享
好程序员大数据学习路线Hadoop学习干货分享,ApacheHadoop为可靠的,可扩展的分布式计算开发开源软件。ApacheHadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集(海量的数据)。包括这些模块:HadoopCommon:支持其他H
CDH离线搭建
CDH离线搭建其实3年前就对CDH神交已久,当时也打算用CDH来作为公司的大数据平台,不过当时也是自己不够给力,导致后面换成了Ambari。最近CDH把HDP收购了,HDP也是我一直在用的一个大数据全家桶。这次想换个口味,感受一下CDH。这里只有两台测试机器,分别为es01,es
Hadoop安全模式Safe mode
Hadoop的安全模式Error<blockquoteThenumberoflivedatanodes0hasreachedtheminimumnumber0.Safemodewillbeturnedoffautomatically
Giraph源码分析(七)—— 添加消息统计功能
作者|白松1、 添加类,把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类,来统计消息量。源代码如下:<pre<codepackageorg.apache.giraph.cou
已加载文章中没有匹配内容,试试其他关键词或清空搜索。