HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Impala的神奇指令「COMPUTE STATS」

项目迭代中用Impala逐步替换原有的Hive作为查询组件,速度有了脱胎换骨的飞跃。但在把原先按列存储的表转换成两个按行存储的表之后,联表查询的表现不那么给力了(原先对Hive的十倍速度优势变成了两倍)。考虑到项目转用Impala是我的提议,调整存储结构也是我的提议,这个结果确实是个让我丢面子的事情

基于大数据的中文舆情分析

引言社交媒体发展日益瞩目,博客、微博社交网络等悄然改变着人们的生活方式。微博,微信,包括天猫,京东等用户日益增多,用户主动发布的微博或者评论数量十分可观。在这个社会化的媒体时代,用户成为企业最好的品牌推广大使。如何从这些可观的数据中分析出用户的潜在且准确的购物意愿及用户需求,将成为提高品牌价

MapReduce学习笔记

MapOutputBuffer中有一个变量叫做mapOutputFile。在sortAndSpill函数中(被flush调用),会通过这个变量拿到文件地址,并写出中间结果,在该方法中,调用了下文中提到的<codewriter.append(key,value)</code来写出数据。看起来没有

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。