HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

如何打造100亿SDK累计覆盖量的大数据系统

作为推送行业领导者,截止目前个推SDK累计安装覆盖量达100亿(含海外),接入应用超过43万,独立终端覆盖超过10亿(含海外)。个推系统每天会产生大量的日志和数据,面临许多数据处理方面的挑战。 首先数据存储方面,个推每天产生10TB以上的数据,并且累积数据已在PB级别。其次,作为推送技术服务商,个

对象存储论文

FacebookHaystack是Facebook设计来存储其小文件(图片)的系统,系统设计思想为小文件合并为一个大文件来存储,减少文件个数以及访问文件时的io次数。<blockquote<pBeaver,Doug,etal.&34;FindingaNeedle

sqoop学习总结

sqoop是Apache的一个开源项目,属于Hadoop家族成员,核心功能是关系型数据库和Hadoop之间的数据转换与传输,从名字大概能够看出来:sqlhadoopsqoop。sqoop目前发展处两个主版本,分别是sqoop1和sqoop2,sqoop1的版本号是1.4.x,sqoop2的版本号

我的服务器养成计划 -- hadoop搭建

起因在一周前,突然心血来潮,想整理一下我的服务器群,我放下一个暂时在研究的node库,开始研究hadoop(其实就是一开始脑抽了,想搭个分布式文件系统用来共享数据而已,后来选了hdfs,因为可以顺便做做云计算)于是就开始了每天数小时的搭建旅程当时我有的服务器:

Hadoop的“Hello world”---WordCount

在安装并配置好Hadoop环境之后,需要运行一个实例来验证配置是否正确,Hadoop就提供了一个简单的wordcount程序,其实就是统计单词个数的程序,这个程序可以算是Hadoop中的“HelloWorld”了。MapReduce原理MapReduce其实就是采

基于Docker编译Hadoop

摘要:将编译Hadoop所需要的依赖软件安装到Docker镜像中,然后在Docker容器中编译Hadoop,可以提高编译效率,同时避免污染主机。编译其他软件时,也可以参考这篇博客的方法。GitHub地址:kiwenlau/compilehadoop(https

mac 下virtualbox虚拟机安装 及hadoop2.5.x + zookeeper环境搭建总结(一)

第一次写专栏有点紧张哈哈,怎么开始啊,恩恩....就这吧。最近在研究hadoop。然后呢就找到了尚学堂一个大数据的视频教程可惜的是视频不全直接从中间开始,环境搭建的那块没有,只能自己一边听课一边摸索着来了,还好让我这菜鸟给搞定了,总结一下以兹鼓励。下面正式开始。1、首先呢咱等小民没那么多毛爷爷买

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。