文章
【赵渝强老师】在Spark SQL中读取JSON文件
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/2adb32a6c43c83fcadaffa4b76adab08.png)SparkSQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFram
【赵渝强老师】搭建Hadoop环境
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/d2010b3fa049da01ce43108662664df1.png)说明:这里我们以本地模式和伪分布模式伪列,为大家介绍如何搭建Hadoop环境。有了这个基础,大家可以自行
Flink 实战 kafka 写数据到 hbase
需求此次<codejob</code任务的目的是从<codekafka</code指定<codetopic</code读取消息,并写入到<codehbase</code中;消息体包含<codeproject</code(消息所属项目)、<code
这场直播,我们把 Apache 顶级项目盛会搬来了!
2019年12月,FlinkForward亚洲站邀请了来自阿里巴巴、字节跳动、滴滴、美团点评、小米、bilibili、快手等一线厂商45位技术大佬分享其技术心得和实战干货,以及Flink最佳应用实践案例。2020年,我们首次创新,将FlinkForward搬到线上。作为
[Flink] Flink的waterMark的通俗理解
导读Flink为实时计算提供了三种时间,即事件时间(eventtime)、摄入时间(ingestiontime)和处理时间(processingtime)。遇到的问题:假设在一个5秒的Tumble窗口,有一个EventTime是11
趣头条基于 Flink+ClickHouse 构建实时数据分析平台
作者:王金海@趣头条摘要:本文由趣头条数据平台负责人王金海分享,主要介绍趣头条FlinktoHive小时级场景和FlinktoClickHouse秒级场景,内容分为以下四部分:一、业务场景与现状分析二、FlinktoHive小时级场景三、Fli
Netflix:如何打造开放协作的实时 ETL 平台?
摘要:本文由Netflix高级软件工程师徐振中分享,内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案,此外还讨论了其在开发运维过程中的收获,对开放式自助式实时数据平台的一些新愿景,以及对RealtimeETL基础平台的一些新思考。文章内容主要分为以下三部分:产品背景
Apache Flink 进阶(十二):深度探索 Flink SQL
作者:贺小令(晓令)整理:郑仲尼本文根据ApacheFlink进阶篇系列直播整理而成,由阿里巴巴技术专家贺小令分享,文章将从用户的角度来讲解Flink1.9版本中SQL相关原理及部分功能变更,希望加深大家对Flink1.9新功能的理解,在使用上能够有所帮助。主要内容:
25 亿条/秒消息处理!Flink 又双叒叕被 Apache 官方提名
<blockquote摘要:ApacheFlink作为公认的新一代开源大数据计算引擎,可以支持流处理、批处理和机器学习等多种计算形态,也是Apache软件基金会和GitHub社区最为活跃的项目之一。<p3月26日,Apache官方博客宣布其成立21周年,博客中对Ap
Flink —— 基本组件与 WordCount
<blockquote小白的新手学习笔记,请大佬轻喷<p本文归档于<ahref"https://link.segmentfault.com/?encvmCfoWBpxiYbegzAbXi7SQ%3D%3D.bRXywtpLbOpfeySAW2JATQ%2BLB1lTTLJ%2FI6nxsk
已加载文章中没有匹配内容,试试其他关键词或清空搜索。