5分钟带你看懂数据中台

Wesley13
• 阅读 444

5分钟带你看懂数据中台

近期以来,「数据中台」突然大“火”。一时之间,仿佛人人都在谈论这个横空出世的「数据中台」。

我们都知道前台是企业与用户交互的系统,如网站、APP 等等;后台是管理企业核心资源、供企业使用的系统,如财务系统、客户管理系统、仓库物流管理系统等等。

介于两者之间的中台,究竟代表着什么?

数据中台又是什么?

我们为什么需要它?

一、什么是数据中台

中台一词最早由阿里巴巴提出,来源于其 2015 年提出的「⼤中台,⼩前台」战略。

随着阿里巴巴电商业务的发展,应用体积不断扩大,需要大型团队协作共同完成维护工作;淘宝与天猫的商品、支付、物流体系虽独立,但仍需数据流通完成运营工作。为了提升协作效率,帮助各部门以小单位、根据不同的需求灵活作战,「以一应百」的「数据中台」概念应运而生。

所谓数据中台,是指通过一系列技术手段,对海量数据进行采集、计算、存储、加工的数据平台。根据企业需求不同,数据中台结构各异,目标是为企业的前台业务和后台系统提供数据支持。

虽然「数据中台」的概念仍在发展之中,没有形成严格、准确的定义,但我们可以通过与更早期一些概念的对比来理解它的内涵:数据库注重数据的存储;数据仓库注重报表生成以辅助决策;「数据中台」则以业务为导向,注重将数据「用起来」。

以此为核心的数据中台,通常会包含三部分:数据存储、数据治理及数据共享。

数据存储部分可以高效存储结构数据、非结构数据、离线数据、实时数据等等,提供数据应用的物质基础;

数据治理部分可以解决元数据管理、数据标准、数据清洗等问题,帮助数据标准和质量统一;

数据共享部分可以提供各类数据服务,诸如数据推送、加密脱敏、安全审计等功能,实现数据的高效调用。

二、数据中台能解决哪些难题

数据中台的出现,解决的是数据存储、连通和使用中所遇到的种种问题,如数据孤岛、数据治理、数据共享等等。

通过打通多源异构数据,统一治理、管理企业数据,数据中台可以让数据高效可用,为企业业务提供支持、为客户提供高效服务。

以依赖经销渠道的服装业为例,过去品牌推出新款时,需要各地分销商共同开会。分销商根据经验判断订购的款式和定购量,品牌汇总信息指派生产,再将衣物分发给分销商上架。对于潮流瞬息万变的服装业来说,需要好几个月才能完成的流程过于漫长。

另一方面由于数据流动没有打通,销售端的直营门店和分销商的库存回流并不实时,缺货总是与库存积压共存。再加上各地调货的物流开支,成本增加、效率低下。

数据中台的构建,可以帮助库存数据实时回流共享。品牌和分销商可以通过库存中心了解、协调进货、销售和库存情况,在提升周转率的同时,还可以为双方的决策提供帮助。

为食品业提供溯源验证,为快消品提供精准营销,为拥有不同业务的大型集团提供数据资产管理,数据中台打通数据存储壁垒、让数据流动,使得这些业务需求得以实现。

与传统数据库相比,数据中台还有一个重要的优点:提升人及其组织的生产效率。

数据中台最初诞生的初衷是解决组织膨胀所造成的效率下降问题。具体业务的开展需要技术、产品、市场等各个方面的支持,对于大型公司来说,这些基础支持工作会有很大程度上的重复。部门内部、部门间的协调颇为耗费精力,不仅信息无法共享,资源也会被浪费。

一个数据全面、技术能力过硬、可以统一调用的数据中台,能够为业务线提供统一支持,同时帮助企业精简业务团队配置,实现「扁平化」。管理效率和组织运作效率都可以得到提升,业务也更敏捷灵活。

三、企业需要怎样的数据中台

既然建立数据中台的目的,是融合企业全部数据、打通隔阂,在技术上就要求数据中台拥有稳定、高效的数据存储和治理能力。

数据量从 PB 级迈向 EB 级的指数增长,加上视频、图像、声音等信息的大量出现,需要数据中台具备视觉计算、音频解析等能力,将非结构化数据转化为结构数据。

CONA 系统全称 ConnectAll The Data,目标是将所有的数据全都连到一个数据中台。作为明略科技集团自主研发的数据治理工具,CONA支持结构化与非结构化数据的自动化治理工具,可以对数据进行大规模、自动化地采集、清洗、归类和关联。从而完成数据接入、数据清洗、数据融合、数据标准化、数据监控和数据管理等数据治理工作。围绕 CONA 这个核心组件,明略科技可以提供面向各行业的数据中台解决方案。

5分钟带你看懂数据中台

其次,能为后续的业务中台提供支持。

以 CONA 的后续应用之一——知识图谱数据库 NEST 为例,基于 CONA 提供的治理后的数据,NEST 可以通过自身的知识表示、存储、索引能力,形成领域知识图谱。行业大脑 SCOPA则可以基于 NEST,利用其机器学习、符号推理等能力,面向公安、金融、工业等领域提供业务支持。以三者为核心的人工智能方案明略系统,正在为不同行业应用。

除此之外,应用能力必不可少。

「好用」的数据中台需要构建者理解目标业务,能从使用者的需求角度出发,设计其架构、组件。

作为在数据行业「摸爬滚打」多年的明略科技集团,早已在安全、交通、金融、工业等各领域的落地项目中,积累了不少「实战」经验。

四、明略数据中台的底层逻辑

“明略科技的数据中台和业务中台,底层逻辑都基于 HAO 智能体系”。明略科技集团联席总裁兼公共服务事业群 CEO 郑农,曾在一次采访中如是描述。

5分钟带你看懂数据中台

希望将人类智能、人工智能、组织智能进行协同的「HAO 智能」,目标是帮助人工智能技术在知识密度高、管理复杂的领域商业化落地,提供更接近现实世界的决策。

不仅如此,「HAO 智能」中还包含认知与行动,是一个集感知系统、认知系统、行动系统为一体,强调人机协同闭环体系。「HAO 智能」提出者,明略科技集团首席科学家吴信东认为,数据中台从数据视角打破了信息之间屏障,提升数据利用效率;「HAO 智能」从人与机器的协作上,寻找更好的人工智能解决方案。两者的目标是一致的:「让原本不能解决的问题可以解决,让可以解决的问题更好的解决」。

END

5分钟带你看懂数据中台

5分钟带你看懂数据中台

本文分享自微信公众号 - 数据私房菜(DataPrivateFood)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
2年前
java将前端的json数组字符串转换为列表
记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Android蓝牙连接汽车OBD设备
//设备连接public class BluetoothConnect implements Runnable {    private static final UUID CONNECT_UUID  UUID.fromString("0000110100001000800000805F9B34FB");
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这