HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

实用大数据系统设计

大数据一般人听着比较复杂,觉得可能需要很大成本来部署和实施。幸运地是市面上已经有一些云服务来帮助我们让大数据变得更简单。另外,如果你选择合适的开源工具,也往往会使你的大数据之路起到事半功倍的效果。下面会列出实用并且较低成本的大数据实施系统,供参考。请注意本文不讨论实时或者流数据处理,如果你在寻找

hadoop上下架datanode

hadoop中的hdfs文件系统,可以动态的增加、删除节点,增加比较容易,在新的节点上配置好hadoop的各种xml文件后,直接启动即可。为了平衡集群内各个datanode节点平衡,可以执行hdfs中的balancer命令,使用方式如下:<pre<code$hdfsbalancer

SQL on Hadoop开源项目总结

随着Hadoop的流行,越来越多的企业把数据存储在Hadoop上,或者NonSQL数据库上,随之相关的数据处理技术也从一开始的MapReduce一统江湖,到现在各种技术竞相出现。最新的趋势是,大家普遍希望能够快速得到查询结果,做交互式查询,同时也希望传统的BI(BusinessIntellig

oozie 安装过程总结

最近公司要使用hue这个软件来作为hadoop图形化用户界面。hue由我一个同事搭建成功,我发现使用hue来创建工作流(workflow)时需要oozie的支持,以前只知道oozie是一个hadoop任务调度器,但是一直没使用过,今天正好趁这个机会尝试一下。环境说明CentO

用java实现将ftp和http的文件直接传送到hdfs

之前实现了使用流来讲http和ftp的文件下载到本地,也实现了将本地文件上传到hdfs上,那现在就可以做到将ftp和http的文件转移到hdfs上了,而不用先将ftp和http的文件拷贝到本地再上传到hdfs上了。其实这个东西的原理很简单,就是使用流,将ftp或http的文件读入到流中,然后将流中的

HADOOP集群文件上传下载

对HDFS上的文件进行上传和下载是对集群的基本操作,在《HADOOP权威指南》一书中,对文件的上传和下载都有代码的实例,但是对如何配置HADOOP客户端却是没有讲得很清楚,经过长时间的搜索和调试,总结了一下,如何配置使用集群的方法,以及自己测试可用的对集群上的文件进行操作的程序。首先,需要配置对应的

cdh5.1.0 yum安装总结

接触过hadoop的人都知道hadoop的搭建过程非常麻烦,尤其是对于初学者,幸运的是有cloudera这样的公司为我们做了一些发行版,我们可以直接使用aptget,yum等包管理工具进行安装。下面我要说得是,在centos6.564位下,通过yum安装cdh5.1.0,需要注意的是5.1.0默

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。