HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Hadoop,Spark和Storm

Hadoop,Spark和Storm博客分类:分布式计算大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言。我们可以带着下面问题来阅读

Hadoop大数据生态系统及常用组件简介

过多年信息化建设,我们已经进入一个神奇的“大数据”时代,无论是在通讯社交过程中使用的微信、QQ、电话、短信,还是吃喝玩乐时的用到的团购、电商、移动支付,都不断产生海量信息数据,数据和我们的工作生活密不可分、须臾难离。什么是大数据什么是大数据,多大算大,100G算大么?如果是用来存储1080P的高清电影,也就是几部影片的容量。但是如果100G都

Flume使用Kafka Sink导致CPU过高的问题

在日志收集服务器上使用Flume(1.6)的KafkaSink将日志数据发送至Kafka,在FlumeAgent启动之后,发现每个Agent的CPU使用率都非常高,而我们需要在每台机器上启动多个FlumeAgent来收集不同类型的日志,如果每个Agent都这样,那肯定会把机器的CPU吃满了,刚开始使用jstack定位到是org.apache.flume

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。