HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

【译】用SQL统一所有:一种有效的、语法惯用的流和表管理方法

现在还没有一个统一的流式SQL语法标准,各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题,社区版本在流式SQL上迟迟没有动作。EMRSpark在今年上半年提供了自己设计版本的流式SQL支持,也会在后续的更新中吸收和支持这些优秀的设计建议。原

使用Spark Streaming SQL基于时间窗口进行数据统计

1.背景介绍流式计算一个很常见的场景是基于事件时间进行处理,常用于检测、监控、根据时间进行统计等系统中。比如埋点日志中每条日志记录了埋点处操作的时间,或者业务系统中记录了用户操作时间,用于统计各种操作处理的频率等,或者根据规则匹配,进行异常行为检测或监控系统告警。这样的时间数据都会包含

EMR Spark Runtime Filter性能优化

背景Join是一个非常耗费资源耗费时间的操作,特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程,如果我们能够尽可能的在靠近源头上减少参与计算的数据,一方面可以提高查询性能,另一方面也可以减少资源的消耗(网络/IO/CPU等),在同样的资源的情况下可

大数据学习路线

一、大数据处理流程!大数据处理简化流程(/img/remote/1460000019667336?w740&h417)上图是一个简化的大数据处理流程图,大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解:

用Flink取代Spark Streaming!知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够

Spark shuffle演进

Shuffle就是将不同节点上相同的Key拉取到一个节点的过程。这之中涉及到各种IO,所以执行时间势必会较长。对shuffle的优化也是sparkjob优化的重点。1.HashShuffleSpark的Shuffle在1.2之前默认的计算引擎是HashShuffleManage

大数据面试题

第一阶段:1.scala闭包2.jdk版本3.mysql版本4.垃圾回收器CMSG1HBASE笔试部分:<pre<code1.给定一个字符串,求最大的回文长度????2.给定两个有序的数组,合并一个有序的数组3.一个有序的数组构建成平衡的二叉树</code</pre第二

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。