HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

kafka是什么?对kafka你了解有多少

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写,它是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据,这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过

Hadoop之性能测试与调优

Hadoop测试集群搭建起来,是不是就万事大吉了呢?如果只是用来学习或者做做实验,貌似够了,但生产环境中还不够,因为我们还没有对集群进行测试,是不是能达到我们预期。1.1写测试测试写入100个128M的文件<pre<codehadoopjar/opt/m

利用Zookeeper实现Hadoop HA

1.什么是HA?所谓HA,也就是高可用,放在实际运营中,那就是724小时不间断服务。那么实现HA,最关键的地方的就是消除单点故障,那什么是单点故障,就没有可替代的节点,一旦这个节点挂了,那整个服务也跟着瘫痪,直到该节点恢复。2.HadoopHAHadoop为什么需要

Distcp的那点事

TOC<blockquote灵魂拷问:你真的了解distcp吗?这里说的就是distcp的那点事</blockquote背景今天在整理笔记的时候,发现了好几篇临时记录都是记录的集群间文件复制需要注意的地方,虽然记录的东西和重点不同,但是核心的东西都是distcp相关的

列式存储格式之parquet读写

概述ApacheParquet是Hadoop生态系统中任何项目均可使用的列式存储格式,更高压缩比以及更小IO操作。网上许多写入parquet需要在本地安装haddop环境,下面介绍一种不需要安装haddop即可写入parquet文件的方式,以及通过两种方式来读取parquet文件。下面

Hadoop之Yarn

1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。在1.x版本中,MapReduce版本承担了过重的任务,包括资源调度,而到2.x版本中,则将资源调度这部分独立出来了,就是Yarn,这使得hadoop更加稳固,拥有更好的扩展性,可用性,可靠性。所以我们可以知道,Y

Hadoop之MapReduce(四)序列化和排序

1.Hadoop序列化和自定义实现序列化序列化就是把内存中的对象,转换成字节序列,或这是其他传入协议,然后进行网络传输或者持久化到磁盘中。反序列化就是一个相反的过程,将收到的字节序列或者磁盘中持久化的数据,转换成内存中的对象。hadoop有一套自己的序列化机制,像前面提到的Boole

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。