小打卡基于大数据产品实现离线数仓架构

SRE守夜人
• 阅读 2571
云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策!

案例背景


小打卡致力于帮助用户成为更好的自己。目前,已为3000万用户提供体验服务3.4亿人次,内容消费7.4亿人次。 在小打卡上线初期,业务分析所需的数据主要是通过查询mysql库表。 现在,小打卡的主要业务分析需求,包括业务报表,用户行为分析,A/B/n实验评估,个性化推荐,数据服务等全部是借助于阿里云的大数据平台来满足。

选择阿里云大数据产品的原因:

1.成本低 享用阿里云超大规模的云计算资源,按照实际需要采购存储和计算资源。 企业无需组建专门的大数据平台部署和运维团队,在业务发展初期,极大的降低了拥有大数据平台的各项成本。 2.效率高 企业通过阿里云官网了解并采购所需的大数据产品,快速搭建适合业务的平台架构 阿里云大数据提供开发生产环境隔离的集成开发环境,以及完善的调度/监控/数据管理等工具能力,提高数据仓库的开发效率 企业可以快速构建大数据平台的功能模块,快速相应业务需求 3.性能按需采购 阿里云大数据的I/O及计算能力弹性伸缩,可以支持TB/PB/EB级数据规模,千万级别复杂任务调度和万兆的网络同步速率。 4.安全 阿里云大数据提供云上数据的安全,以及企业租户之间的安全隔离,大数据项目不同角色的权限管理和各种数据资源的权限管理。

大数据实践


小打卡基于阿里云大数据产品实现的离线数仓架构:

小打卡基于大数据产品实现离线数仓架构

面向小打卡的各项业务场景,所需的基本产品搭配:

1.用户行为分析 :DataWorks + 数据集成 + MaxCompute + Quick BI 2.数据化运营:DataWorks + 数据集成 + MaxCompute + RDS 3.线上数据服务:DataWorks + 数据集成 + MaxCompute + OTS/API网关 4.推荐系统:DataWorks + 数据集成 + MaxCompute + PAI + OSS

  • 实践case:

1.业务分析需求:监控每小时访问小打卡小程序的新增用户数及活跃用户数 2.阿里云大数据产品搭配:DataWorks + 数据集成 + MaxCompute + Quick BI

- DataWorks:DataWorks(数据工场,原大数据开发套件)是阿里云数加重要的PaaS平台产品,提供数据集成、数据开发、数据管理、数据治理、数据分享等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。

- MaxCompute:大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的EB级数据仓库解决方案。 数据集成:数据集成是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台。致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。

  • Quick BI:uick BI是阿里云旗下产品,是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。

3.用2-3个工作日,快速搭建大数据平台:

步骤一:注册阿里云账号,开通DataWorks及Quick BI 步骤二:快速建设数仓

1)在DataWork控制台创建工作空间 小打卡将原始数据的采集层和中间公共数据的加工层分别部署在独立的项目中。

小打卡基于大数据产品实现离线数仓架构

小打卡基于大数据产品实现离线数仓架构

2)DataWorks平台中集成了数据集成和MaxCompute等大数据产品,可以一站式的开发。

小打卡基于大数据产品实现离线数仓架构

在DataStudio(大数据集成开发环境工具)中建设数据仓库,创建业务流程,物理模型,数据集成任务及ETL任务。

业务流程帮助企业总结业务的一般流程,来有效组织相互依赖的数据流,数据集成任务,ETL任务,数据表和UDF等其他资源。

小打卡基于大数据产品实现离线数仓架构

数据集成可以帮助企业从异构数据源采集数据并沉淀到数据仓库

阿里云的数据集成提供丰富的数据源支持:

  • 文本存储(FTP/SFTP/OSS/多媒体文件等)
  • 数据库(RDS/DRDS/MySQL/PostgreSQL等)
  • NoSQL(Memcache/Redis/MongoDB/HBase等)
  • 大数据(MaxCompute/AnalyticDB/HDFS等)
  • MPP数据库(HybridDB for MySQL等)

小打卡基于大数据产品实现离线数仓架构

继续在DataStudio中开发物理模型和ETL任务。

小打卡基于大数据产品实现离线数仓架构

小打卡基于大数据产品实现离线数仓架构

发布任务流程,并在运维中心中调度和监控

小打卡基于大数据产品实现离线数仓架构

3)将数据接入Quick BI,交付业务部门使用。

目前由于小打卡分析业务的团队规模较小,仅有10-20人的规模,所以当前的架构是直接读取MaxCompute中的数据。这样做的好处是省钱,非常省钱,部署也是非常的快速。

但是缺点则是查询速度较慢,只能维持在秒级,且报表的查询并法度有瓶颈。后续随着分析团队规模的增加,会适时的优化架构,引入分析型数据库产品ADB来提供毫秒级的速度和高并发的查询性能。

小打卡基于大数据产品实现离线数仓架构

云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策!

上云就看云栖号:更多云资讯,上云案例,最佳实践,产品入门,访问:https://yqh.aliyun.com/

本文为阿里云原创内容,未经允许不得转载。

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
待兔 待兔
1年前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Java修道之路,问鼎巅峰,我辈代码修仙法力齐天
<center<fontcolor00FF7Fsize5face"黑体"代码尽头谁为峰,一见秃头道成空。</font<center<fontcolor00FF00size5face"黑体"编程修真路破折,一步一劫渡飞升。</font众所周知,编程修真有八大境界:1.Javase练气筑基2.数据库结丹3.web前端元婴4.Jav
Karen110 Karen110
4年前
人工智能数学基础6:无穷大和无穷小的大小比较以及斯特林公式
1.无穷大的大小排列n、a1、a2、a3为自然数(表述为n∈N),n趋于无穷大(n→∞),a1、a2、a3大于1,则下列实数的大小排列为:2\.无穷小的大小排列将无穷大的大小排列公式中比较的数字作为分母,1作为分子,大于号改为小于号,则可以作为无穷小大小排列公式:3.极限值n为自然数(表述为n∈N),n趋于无穷大(n→∞),a2、a3大于1,则
Stella981 Stella981
3年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
Stella981 Stella981
3年前
Flink 助力美团数仓增量生产
简介:本文由美团研究员、实时计算负责人鞠大升分享,主要介绍Flink助力美团数仓增量生产的应用实践。内容包括:1、数仓增量生产;2、流式数据集成;3、流式数据处理;4、流式OLAP应用;5、未来规划。一、数仓增量生产1.美团数仓架构先介绍一下美团数仓的架构以及增量生产。如下图所示,这是美团数仓的简单架构,我
Stella981 Stella981
3年前
Docker 部署SpringBoot项目不香吗?
  公众号改版后文章乱序推荐,希望你可以点击上方“Java进阶架构师”,点击右上角,将我们设为★“星标”!这样才不会错过每日进阶架构文章呀。  !(http://dingyue.ws.126.net/2020/0920/b00fbfc7j00qgy5xy002kd200qo00hsg00it00cj.jpg)  2
个推TechDay直播预告 | 8月24日晚19:30,实时数仓搭建保姆级教程开课!
当下,企业的实时计算需求越来越高频,很多企业和组织选择建设实时数据仓库,以敏捷支撑实时报表分析、智能算法推荐、系统风险预警等多元业务场景需求。相比离线数仓,实时数仓有哪些特性?如何进行实时数仓的技术选型?个推TechDay“治数训练营”系列直播课第二期来了!8月24日(下周三)晚上19:3020:30,个推资深数据研发工程师为您解读实时数仓架构演进,分享实时
直播预告 | 大模型时代 “应用变了”:看大模型如何跑进零售电商应用
走进零售电商,大模型能做什么?今年11.11,应用大模型带来成效显著今天下午2:00,京东云视频号准时直播看京东零售如何破题新解法,大小模型协同大模型将走向多模态,走向具身智能
如何判断一个数仓模型的好坏?
一个企业面对大数据的时候,势必会遇到数仓开发,那么数仓开发完之后,如何判断一个数仓模型的好坏?根据自己经验,总结以下几点供参考,评判一个数仓模型的好处需要考虑以下几个方面:1:数据准确性:数仓模型的数据必须准确,能够真实反映业务的情况,否则整个数仓就失去了
SRE守夜人
SRE守夜人
Lv1
乱花渐欲迷人眼,浅草才能没马蹄。
文章
3
粉丝
0
获赞
0