构建通用数据中台架构

比特霜焰引
• 阅读 2360

企业数字化转型

数字化转型(Digital transformation),建立在数字化转换(Digitization)、数字化升级(Digitalization)基础上, 又进一步触及公司核心业务,以新建一种商业模式为目标的高层次转型。数字化转型是开发数字化技术及支持能力以新建一个富有活力的数字化商业模式。企业数字化转型是未来市场发展趋势。

在IT时代走向DT时代这样的大背景环境下,数据爆发式增长,海量数据资源等待挖掘、盘活价值,企业战略思想上必须认知到数据资源的价值,将数据资源转变成为数据资产,加以整合应用,实现数据资产的可变现,才能具备市场竞争优势。但是,在传统IT建设架构下,企业内部各部门之间的系统相互独立,呈烟囱林立状,系统产生的数据多源、异构……无法实现互联互通,无法快速满足企业实时业务的交流、协同和合作(3C:Communication, Coordination and Corporation)。这是企业数字化转型的痛点,也是难点。

构建通用数据中台架构

烟囱林立的系统们

数据中台出现

只有可管理、可调用、可变现的数据资源才能成为数据资产,才能帮助企业实时统筹、科学决策。数据中台的出现,解决了信息系统之间的互联互通、多源多维度的数据集成问题,是企业数字化转型的利刃,能够完美实现数字经济的数字资源资产化、数据资产服务化、数据服务价值化。这是数据中台的价值。

构建通用数据中台架构

数据中台打破系统烟囱

构建数据中台架构

数据中台的目标是通过中台提供的工具、方法和运行机制,把异构资源的数据变为一种服务能力,让数据更方便地被业务所反复使用。灵长科技定义的中台是“承担多源异构资源系统的交互枢纽,聚合和治理资源的多维数据,统一抽象封装成服务形式,服务于多维用户,实现业务价值”。

下图为中台总体架构图,中台是在底层各类设备,数据和服务系统资源与上层的应用之间一整套承上启下的体系。中台屏蔽掉底层不同系统的技术复杂性,降低对应用开发对底层系统技术人才的需求,让底层资源的使用成本更低。通过中台的抽象统一,汇聚集成、开发模块建立企业统一的资源池,通过资源管理与治理、开放服务把资源变为数据服务能力,服务企业业务。中台的安全和运营体系保障了中台可以长期稳定、持续运转。

构建通用数据中台架构

数据中台架构总体架构图

那么,一个通用的数字协同服务中台架构应该如何构建?主要分为以下五个部分。

1. 资源的连接和汇聚

大量的异构资源包含像物联网、传感器等各类设备,不同的业务系统,数据库,文件日志,各类网络服务。这类设备和服务都会产生大量的数据。这些数据分散在不同的网络环境和存储中台中,不整合难以利用,很难产生业务价值。资源的连接和汇聚是数字协同服务中台必须提供的核心工具,连接不同的异构系统资源需要处理大量的通讯协议,整合不同的数据格式。由于前端业务团队不可能,也不应该配备大量对底层资源了解的技术人员,中台就起到了承上启下的作用。通过统一抽象的机制,将这类资源整合起来。形成中台管理的统一资源。

2. 数据的统一和调理

中台本身几乎不产生数据,所有数据来自于各类资源:设备(物联网,传感器),业务系统、数据库,日志、文件、网络服务等。中台把各种网络化分布、异构的数据源汇聚起来。可以根据业务需求采用不同策略:既可以集中存储,为后续的加工建模做准备;也可以动态抓取,支持实时业务流程。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列,接口调用等;从汇聚的时效性来分,有离线批量汇聚和实时采集。资源以不同的数据形式汇聚到中台的数据入口,中台的第一个工作就是要转换并统一数据格式,只有这样才能有效地汇聚数据资源,进一步发挥协同效应。

仅仅数据格式统一还不够,业务很难使用按照原始状态堆砌在一起的数据。数据调理是把杂乱无序的异构数据转化成对业务有价值的形式,提供给业务使用。通过中台提供的一系列数据转换和调理工具和模块,开发分析人员可以高效地进行数据调理。中台会提供离线、实时、算法开发工具以及任务的管理、代码发布、运维、监控、告警等一些列开发集成工具。

3. 资源管理体系

有了资源的连接汇聚,数据的统一和调理,中台已经具备统一整合资源和管理的基本能力,可以建立统一的资源体系。这些资源是中台的血肉,业务层可以通过数据来开发、管理、使用资源。现代企业业务对数据的依赖越来越高,数据资源的一致性和可复用性至关重要。垂直烟囱式的服务建设方式由于复用性差注定不能长久存在。中台正是要打破烟囱,通过对资源的统一建设管理,为多方业务团队提供高效的,标准的,可复用的服务。实践中,统一建模,统一数仓、统一标签数据等方法被广泛使用。中台的资源管理是方便应用方更好地了解和使用这些资源:把资源展现给应用层用户(统一的资源目录),管理资源的使用权限(权限管理),决定谁能使用(用户管理),资源的生命周期管理(升级和回滚)等。总之,中台以一种更直观的方式展现拥有的资源,直接为业务服务。

4. 数据服务体系

前面通过资源的汇聚,数据的统一和调理,数据资源的管理和展现,中台已经完善地整理出企业的资源。数据服务体系就是把资源产生的数据变为一种服务能力,通过数据服务让数据参与到业务,激活整个中台为业务服务。数据服务体系是中台存在的价值所在。企业的数据服务是千变万化的,中台产品可以提供一些标准服务,但是很难满足企业的服务诉求,大部分服务还是需要通过中台的能力快速定制。因此,中台除了提供丰富的标准服务模块外,还应该提供快速的服务定制化开发能力,以及对服务的管控、鉴权、计量等功能。更进一步,任何业务都在不断的变化发展,因此已经开发的服务也会不断的需要做出相应变化。中台需要对这类服务的变化提供高效的开发变更工具,例如代码开发,文档变更,测试调试等自动化工具,来响应不断变化的业务需求。

5. 安全运营体系

通过一系列的系统步骤:数据汇聚、数据开发、数据资产、资产管理、数据服务,我们已经完成了整个中台的搭建和建设,在业务中发挥价值。安全运营体系是中台得以健康稳定、持续运转的基础,中台需要有一个全方位的安全管控体系和功能,例如,全时段运营监控下的限流和熔断机制;对数据服务调用的监控和日志;对数据调用和传输的安全机制等。安全运营体系保障中台正常地持续运营,不能发挥其应用价值。

(完)

未经同意,本文禁止转载或摘编。

灵长科技自主开发的智能连接和数据集成中台,是基于API的新一代面向服务框架(SOA)技术,将系统连接、数据集成与融合、业务逻辑全部通过松耦合集成于一体的开发平台。可点击官方网站

灵长科技​www.apemesh.com构建通用数据中台架构

进一步了解更多详细信息。

如您对小编分享的文章感兴趣,您可以在文章下方点赞、分享或收藏;还可以通过搜索关注知乎专栏《微服务应用开发和API管理》,或者扫描下方二维码关注灵长科技官方公众号,获取最新更新动态。

http://weixin.qq.com/r/KzkQCMPEq57UrYdr92w5(二维码自动识别)

点赞
收藏
评论区
推荐文章
飞速创软 | 数字化转型,对零售行业意味着什么?
​数字化转型消除了传统技术的限制,使零售行业能够更灵活地适应当前的市场趋势和要求。数字化转型正在影响我们今天所知的每一个领域和行业,从金融服务和娱乐到教育、制造和医疗保健。企业通过数字化来提升他们的服务并提供符合客户期望的产品。数字化转型的核心目标正变得更加响应不断变化的客户偏好和市场趋势。零售行业的数字化转型也是如此。作为商品流通的终端环节,零售业是国民经
Wesley13 Wesley13
3年前
AI中台助力企业智能化转型
本文主要和大家分享“AI中台如何助力企业数字化以及智能化转型”,以及我在构建AI中台方面的一些心得和经验。企业数字化旨在利用数字化技术改变企业业务模式,优化生产过程以及寻求新的商业价值。但能够做到真正数字化的企业并不是很多。那么在数字化的征途上,企业都需要做些什么呢?从数字化到智能化!(http://colleg
在充满挑战的时代 天翼云以数字化加速市域社会治理现代化
当今世界正在经历百年未有之大变局。受全球新冠肺炎疫情影响,全球地缘政治形势错综复杂,数字化转型换挡提速,机遇与挑战并存。在5G、云计算、大数据、AI等现代信息技术快速更迭的同时,各行业数字化转型进程取得飞跃性进展,天翼云也正在加速构建数字化治理底座能力,以数字技术催生新一轮科技革命和产业变革,推进各行业数字化转型,实现市域社会治理现代化。变局中育新机,以数字
一朵“云“如何带来产业新变革
随着数字化转型进程不断推进,云计算市场规模不断扩大,“如何通过云服务为产业数字化变革赋能”成为各行业关注的话题。10月15日,天翼云科技有限公司研发一部副总经理杨鑫应邀出席2021年第六届IDC中国数字化转型年度盛典,并发表《云网数智安一体,赋能产业数字化变革》的主题演讲,分享了天翼云对企业数字化转型的理解与探索。安全可信是高质量数字化转型的关键要素。杨鑫表
飞速创软创始人张军飞受邀出席2022年数字赋能实体经济启动会暨山东CIO智库年会
2022年7月8日,飞速创软创始人张军飞受邀出席“2022年数字赋能实体经济启动会暨山东CIO智库年会”来自各省的多行业企业CIO与优秀IT企业相聚山东烟台,共商企业数字化转型问题。(上图:飞速创软创始人张军飞)飞速创软创始人张军飞以《飞速企业级低代码,如何促进企业数字化转型》为题作专题分享,为我们深入解读低代码在数字化转型中的价值。2020年以来,
信通院推出数字化赋能者新标准 天翼云获评数字化转型赋能服务集体
3月31日,在2021数字化转型发展高峰论坛上,中国信通院发布了可信数字化评估体系。中国电信凭借多年数字化转型成果获选数字化转型赋能服务集体、数字化转型推进优秀集体以及数字化转型发展先锋人物等奖项,并获得首批数字基础设施一体化云平台服务能力的认证。在大会现场,由工信部、国资委指导,中国信通院牵头发起的企业数字化发展共建共享平台也宣布成立。中国电信天翼云、招商
CIO资源站 CIO资源站
3年前
7份数字化转型资料,全是精品,值得收藏(附下载)
7份关于数字化转型的资料都整理好了,需要的文末自取:1.华为2021年数字化转型,从战略到执行.PDF下载《数字化转型,从战略到执行》报告结合100多个国家的案例与数据,从6个角度(个人家庭企业城市行业国家)、4个层次(国家城市行业企业)、4个阶段(基础信息化应用数字化全面系统化智慧生态化),系统解读数字化转型从战略到执行的全景框架,洞察实践,对不同数字化
邢德全 邢德全
1年前
制造业各种管理系统的介绍及集成
万界星空科技低代码平台提供的MES,WMS,QMS等应用,是助力企业从数字化工厂向数字化企业升级的落地管道及载体,能帮助企业在数字化转型的过程中,实现制造企业与其供应链的协同制造。
陈哥聊测试 陈哥聊测试
10个月前
大势所趋,数字化转型是企业活下去的必选项
其实,许多企业领导者并不清楚数字化转型意味着什么。数字化转型是否只是迁移到云端的一种吸引人的说法?
飞速携手DeepSeek,开启低代码开发新时代
“ 数字化转型的痛点,如何破局? 在数字化转型浪潮中,企业亟需快速响应业务需求,但传统开发模式却面临周期长、成本高、技术门槛高等难题。低代码虽能简化流程,但面对复杂业务逻辑时,仍依赖人工梳理需求、设计架构,效率瓶颈始终存在。如何让应用开发真正实现“所想即所得”?”
陈哥聊测试 陈哥聊测试
2个月前
抢赚万元政策红利,中小企业数字化转型的破局之道
禅道有幸入选了武汉、青岛、成都等地中小企业数字化转型专业服务商,为中小微企业提供数字化转型咨询、解决方案、产品和服务。
比特霜焰引
比特霜焰引
Lv1
最大的安心是自律温柔和爱自己。
文章
2
粉丝
0
获赞
0