HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Hadoop集群搭建

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,HadoopDistributedFilesystem)和MapReduce(GoogleMapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

Hadoop 入门

1大数据概率大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息增长。主要解决海量的存储和海量数据的分析计算问题。1.1大数据的特点Volume(大

大数据背景

大数据特征4v量大,数据指数级增长数据种类多:结构化数据(mysql),半结构化(json),非结构化数据(视频,图片,语音等)离线批处理>实时流处理数据有价值部分小,需要采用合理有效方式提取为什么需要大数据,什么条件下需要大数据

hadoop概念分析

hadoop概念分布式:整个业务拆解多个业务由不同机器完成集群:多个机器通过网络连接,每台机器做一样的工作怎么跟小白讲呢:从前有个餐厅只有一个厨师,做买菜,洗菜,炒菜客户多了,招多了一个厨师做一样的事,两个厨师就是集群随着客户增加招

详解HDFS3.x新特性-纠删码

EC介绍<blockquote<strongErasureCoding简称EC,中文名:纠删码</strong</blockquoteEC(纠删码)是一种编码技术,在HDFS之前,这种编码技术在廉价磁盘冗余阵列(RAID)中应用最广泛(RAID介绍:大数据预备知识

HBase中MemStore的刷写触发机制

因为HBase的数据存储使用的是HDFS,而HDFS是不支持随机读写的,所以HBase的数据写入采用LSM算法。LSM算法一般会分内存和磁盘两部分存放数据,在HBase的实现中,内存部分称作MemStore,采用的是跳跃表实现,维护了一个有序的KeyValue集合,磁盘部分有0到多个内部KeyVal

HBase到底是列式存储还是行式存储?

逻辑概念上,数据库表是一种二维的数据结构,具有行和列。但在内存、磁盘等物理存储上,数据一般是需要线性顺序组织的。所以为了存储数据库表中的数据,有了两种常见的组织方式:基于行的存储和基于列的存储。基于行的存储,是将整行数据连续存在一起。在基于行存储的表中,即使只需要读取指定列时,也需要先将对应行的

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。