8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路

继承薄雾
• 阅读 569

8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路

大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,而大数据作为企业运转的基础,只有经过提供数据采集、存储、计算、分析、调度、管理、治理等过程,才能为企业所用。

而海豚调度作为数据调度工具的先行者,深刻理解调度工具缺乏可视化、拓展性差、无法去中心化、稳定性差等痛点问题,能够针对行业工具痛点精准提供解决方案。

在整个大数据时代下,从互联网出行到乳业龙头企业,越来越多的企业随着业务发展而带来的数据急剧增长,数据使用效率低,管理难,面临传统的数据系统无法支撑解决问题。如果不从根本上解决数据的问题大数据领域未来仍将面临巨大的挑战。

在这个背景下,Apache DolphinScheduler社区8月份邀请Apache Kylin社区举办了一场联合Meetup,本次活动主题是【大数据底座的构建与展望,助力企业数字化转型】,我们也有幸邀请到了来自伊利、T3出行、白鲸开源、Apache Kylin社区等企业的资深大数据工程师与开发者,从数据分析引擎、数据调度、数字化转型、维护开源视角等话题探讨在两个开源项目的开发实践。

无论你是热衷于钻研开源技术的开发者,还是“大数据调度+数据分析”的开源资深爱好者,都能这些前沿的案例从中获得全新的灵感。

无论你是 Apache DolphineScheduler & Apache Kylin的开发工程师还是个人爱好者,来到本次 Meetup,你一定能听到一手的分享,得到一手的收获!

报名通道

Apache DolphinScheduler & Apache Kylin 联合 Meetup | 8月线上直播报名通道已开启,赶快预约吧!

时间:2022-8-13 14:00-17:00

形式:线上直播

议程介绍

8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路

郑平贺

T3出行分析一体化负责人

10年大数据工作经验,涉及行业包括舆情,智慧城市,出行等

演讲时间:14:00-14:40

演讲题目:T3出行基于DolphinScheduler和Kylin自动构建指标模型的实践

演讲概要:简要介绍为什么要实现模型管理自动化;如何实现湖仓一体架构下的自动化模型管理设计;自动化模型管理的实现;团队的未来展望;

14:40-14:50 直播间抽奖环节

8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路

姜涛

伊利集团数据技术经理

负责内部大数据技术能力建设,推动大数据技术自研能力的落地以及内部的推广应用,承担大数据技术团队的组建与管理等

演讲时间:14:50-15:30

演讲题目:伊利集团在多云环境下基于Apache DolphinScheduler的探索与实践

演讲概要:应用多云的部署架构,让数据天然分散。在data mesh 和 data fabric新型数据架构还未普及的情况下,集中式的数据架构仍需要大量的数据搬迁,在企业内部,落地一套适合企业内部情况的多云数据集成与一体化多云调度服务平台成为刚需。伊利集团基于 DolphinScheduler 调度平台积极探索实践,不断打磨产品细节,解决了多云数据集成与多云任务调度服务的问题,同时解锁了 DolphinScheduler 新玩法。

8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路

俞霄翔

Kyligence研发工程师

Committer & PMC of Apache Kylin

Kyligence OSS Team 研发工程师

演讲时间:15:30-16:10

演讲题目:更易用、更强劲的大数据分析平台-Kylin 5.0 社区路线一览

演讲概要:一方面优化 Kylin 的预计算引擎和模型元数据,大大提升模型设计的灵活性;另一方面积极拥抱最新的技术潮流,从 Native engine、微服务等角度重新设计和实现 Kylin 的计算引擎和部署架构。在这次分享中,将会给大家带来下一代 Kylin 技术的前瞻性介绍和使用演示。

16:10-16:20 填写问卷+抽奖环节

8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路

钟嘉杰

白鲸开源数据工程师

Apache DolphinScheudler PMC

演讲时间:16:20-17:00

演讲题目:Apache  DolphinScheduler 社区维护者眼中的开源

演讲概要:你所不了解的开源, 以 Apache 顶级项目 DolphinScheduler 为例, 简述作为开源维护者的秘辛

Apache DolphinScheduler 是一个云原生并带有强大可视化界面的大数据工作流调度平台,致力于让调度变得更加容易,已在 1000+ 家公司的生产环境上稳定运行。身为一款专门针对于大数据平台的工作调度系统,具有本土化风格和多样化的部署方式。同时,Apache DolphinScheduler还拥有十分活跃的社区与定期的交流会。

Apache Kylin是行业领先的开源分布式的分析型数据仓库,提供Hadoop/Spark之上的 SQL 查询接口及多维分析 (OLAP) 能力,支持对超大规模数据进行亚秒级查询,已被 eBay、腾讯、美团、滴滴、汽车之家、贝壳找房、OLX 集团等全球超过 1500 家企业采用。

福利环节

参与本期更多直播互动即有机会获得社区小礼品

8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路

欢迎大家参与8月13日 Apache DolphineScheduler & Apache Kylin 联合的线上交流会,下午14:00,我们不见不散!

参与贡献

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dol...

非新手问题列表:https://github.com/apache/dol...

如何参与贡献链接:https://dolphinscheduler.apac...

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

点赞
收藏
评论区
推荐文章
Stella981 Stella981
4年前
2019 DevOpsDays社区大连Meetup总结
首先,很荣幸能被DevOps社区邀请参加大连的DevOps社区Meetup,本次中国DevOps社区Meetup是由敏捷江湖桃花岛社区共同举办。邀请了大连知名企业的专家分享在DevOps和敏捷方面的实践。本次活动由是大连第二次举办Meetup,也是第一次引进工作坊和openspace活动内容,提高了大家的参与度和实践动手能力。在本次会议中DevOpsSI
可莉 可莉
4年前
2019 DevOpsDays社区大连Meetup总结
首先,很荣幸能被DevOps社区邀请参加大连的DevOps社区Meetup,本次中国DevOps社区Meetup是由敏捷江湖桃花岛社区共同举办。邀请了大连知名企业的专家分享在DevOps和敏捷方面的实践。本次活动由是大连第二次举办Meetup,也是第一次引进工作坊和openspace活动内容,提高了大家的参与度和实践动手能力。在本次会议中DevOpsSI
Wesley13 Wesley13
4年前
MongoDB与MySQL关于写确认的异同
!(https://pic3.zhimg.com/80/v2af9f6637b50b09be60b00a42f3812d5e_1440w.jpg)云妹导读:所谓写确认,是指用户将数据写入数据库之后,数据库告知用户写入成功的一个概念。根据数据库的特点和配置,可以在不同的写入程度上,返回给用户,而这其中,就涉及到了不同的性能、数据
Wesley13 Wesley13
4年前
Mysql数据库引擎介绍
一、数据库引擎  数据库引擎是用于存储、处理和保护数据的核心服务。利用数据库引擎可控制访问权限并快速处理事务,从而满足企业内大多数需要处理大量数据的应用程序的要求。使用数据库引擎创建用于联机事务处理或联机分析处理数据的关系数据库。这包括创建用于存储数据的表和用于查看、管理和保护数据安全的数据库对象(如索引、视图和存储过程)。二、数据库引擎任
Wesley13 Wesley13
4年前
MySQL数据库存储引擎概述
一、前言引擎(Engine),我们都知道是机器发动机的核心所在,数据库存储引擎便是数据库的底层软件组织。数据库使用数据存储引擎实现存储、处理和保护数据的核心服务。利用数据库引擎可控制访问权限并快速处理事务,从而满足企业内大多数需要处理大量数据的应用程序的要求。使用数据库引擎创建用于联机事务处理或联机分析处理数据的关系数据库。这
3A网络 3A网络
3年前
5 步教你将 MRS 数据导入 DWS
5步教你将MRS数据导入DWSMapReduce服务(MapReduceService,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。用户可以将海量业务数据,存储在MRS的分析集群,即使用Hive/Spark组件保存。Hive/Spark的数据
数字先锋 | “言”之有“力”,大模型背后的算力“推手”!
在算力调度方面,天翼云通过自研的调度系统,协助思必驰DFM2大模型调度GPU、NPU、CPU等异构算力资源,大规模训练上云1个月,可以完成数十亿规模大模型所有阶段训练和效果评估。在训练能力打造方面,天翼云支持多种模型训练方式,不仅可以提升大模型训练平台的数据量,还大幅缩短了训练周期和交付进度。
实例解读:Python量化分析在投资中的应用
Python作为一种多用途的编程语言,在量化分析领域也展现出了强大的应用能力。通过Python,我们可以对金融市场数据进行获取、清洗、分析和可视化,从而进行量化交易、风险管理和投资决策。本文将从入门到精通,带领读者深入探索Python在量化分析中的实战应用
数字化时代的数据管理:多样化数据库选型指南
非常感谢Kevin和张健对本文提供的建议和指导。1.概述在数字化时代,数据是企业最宝贵的资产之一。随着技术的进步和数据量的爆炸性增长,如何有效地存储、管理和分析这些数据成为每个企业面临的重大挑战。数据库作为数据管理的核心技术,其选型对于系统至关重要。传统的
继承薄雾
继承薄雾
Lv1
现在月亮安好,星星慢慢发光。
文章
6
粉丝
0
获赞
0