【案例】基于星环科技数据云平台TDC为富国基金建设万能的数据湖

逻辑漫游者
• 阅读 865

星环科技作为企业级大数据基础软件开发商,通过发挥基础软件硬实力已经成功助力金融、政府、能源、交通、制造业等多个行业的客户实现了数字化转型,积累了丰富的成功经验。【行业案例】旨在定期分享星环科技最新案例成果,为各行各业企业数字化转型提供参考和决策依据。

本篇将介绍星环科技如何基于数据云平台TDC为富国基金建设万能的数据湖,助力其实现数据统一与共享交换。

案例背景

富国基金管理有限公司成立于1999年,是中国老10家基金公司之一。2003年,加拿大历史最悠久的银行——加拿大蒙特利尔银行(BMO)参股富国基金,富国基金管理有限公司又成为国内首批成立的十家基金公司中第一家外资参股的基金管理公司。截止到目前为止,富国基金全产品的资产规模超过了 12,000 亿,这个规模还在不断增长。基金公司从某种意义上也是数据公司。采集数据、加工数据、应用数据,最终做出业务决策是基金公司在运作中典型的工作过程。在这个过程中,数据从信息转化为价值的能力决定了公司的竞争力,它取决于数据采集、处理、应用效率、准确性、以及信息的服务方式。当行业的超额收益缩小了以后,信息优势就决定了基金产品收益的稳健性、风险控制能力与客户服务质量。随着行业的发展,投资品种的多元化,资产规模的上升,基金产品成为机构与个人投资的重要工具,来自外部监管等方面有关数据质量、数据安全、综合数据治理水平的要求也日渐提升;同时,富国基金作为行业的头部公司、系统性金融单位,更需要特别在数据治理、数据安全、数据质量等方面建立较好的保障与管控机制。然而,富国基金原来单一的数据仓库平台架构开始面临诸多挑战:

不支持实时数据处理:实时风控大屏、实时直销申赎统计、画像及精准营销、实时估值等业务需求日益迫切,结合富国基金IT整体规划要求,富国基金应适时构建实时数据处理能力。
数据仓库平台存储昂贵:解决海量数据的存储问题,根据数据价值高低、数据的冷热不同,存储到不同的平台介质上。
不支持半结构、非结构化数据处理:基金公司各类研报、公告、舆情等外部资讯数据对公司的决策同样至关重要,而该类数据很多是半结构、非结构化的存储格式。
数据孤岛问题:不同团队各自建设,数据没有打通;同一份数据在多个业务系统内保存;缺少统一标准,难以进行数据管控和质量提升。
不支持云原生部署:现有数据仓库平台 Vertica 构建在分布式数据库上,基于物理服务器部署,弹性不足。
解决方案

针对富国基金面临的挑战和现状,基于星环科技数据云平台 Transwarp Data Cloud 为富国基金提供了一站式数据湖解决方案。
【案例】基于星环科技数据云平台TDC为富国基金建设万能的数据湖

基于星环科技数据云平台 Transwarp Data Cloud(以下简称TDC)、星环大数据开发工具 Transwarp Data Studio (以下简称TDS)、星环智能分析工具 Sophon 等产品的数据湖解决方案,能够一站式解决企业从建湖到管湖全部过程,为富国基金管理和决策提供数据基础与分析能力保障,提升富国基金的竞争力。

作为富国基金数据湖云底座的数据云平台 TDC ,基于云原生技术构建,具备极致的弹性能力,并且融合了数据 PaaS、分析PaaS、应用 PaaS,实现数据、应用、模型的互联互通,打破富国基金不同业务系统的数据孤岛。

在数据治理、元数据、数据质量、数据资源目录等能力上,星环科技提供了集开发与治理为一体的一站式工具平台 TDS,提供了数据开发、数据集成、数据管控、数据商城和数据服务等能力。TDS 的子产品涵盖了:数据库开发工具Waterdrop、数据库在线开发与协同工具 SQLBook、大数据整合工具Transporter、任务调度软件 Workflow、可视化报表分析软件 Pilot 、数据服务开发与管理工具 Midgard以及数据资产目录软件 Catalog、数据治理工具 Governor、数据安全防护工具Transwarp Defensor、数据商城 Transwarp Foresight、数据服务开发与管理工具 Midgard 和标签管理平台StarViewer。可以帮助富国基金形成标准的数据资产管理规范、构建统一的数据加工、共享能力,形成数据资产。

Sophon 是一款包含数据分析与机器学习建模的一系列智能分析工具软件,能够一体化地完成从数据集成、模型构建、知识推理、辅助决策,支撑业务的数据分析、探索、服务流程,从而可以帮助开发者将智能化落地到企业应用中,帮助企业进行以数据驱动为核心的开发、运营和产业升级。Sophon主要覆盖数据分析中的计算智能、感知智能、认知智能等三个主要方向。Sophon的技术特点是采用分布式计算模式,可以进行结构化、半结构化和非结构化三种不同类型的数据的接入、处理、分析与模型发布及管理工作。在富国基金项目上,可以用于搭建联合创新实验室,通过引入人工智能、数据挖掘技术来提升数据价值能力。

建设成效

通过 TDC 的多租户能力

实现富国基金数据的统一与共享交换

TDC通过建立富国基金统一的数据湖租户空间,统一归集富国基金内部各业务系统的数据,实现了富国基金数据的高效治理和管控。
【案例】基于星环科技数据云平台TDC为富国基金建设万能的数据湖

TDC 数据湖可轻松实现数据在不同应用(租户)之间的共享,后续新增租户可直接使用统一数据湖共享的数据, 租户共享集群中的某些节点,这些节点能被所有基于TDC创建的租户调度。

TDC 上可按需创建租户,租户间资源隔离、数据隔离、业务隔离,不同租户按需部署不同的应用。同时,TDC支持将不同租户设置互信,相互之间共享组件和数据。租户之间计算资源可动态共享,租户2空闲时,租户1可使用客户的全部服务器的计算资源,提供计算性能和查询效率。租户可将自身组件共享出去,在TDC数据云内与其它共享。租户组件的共享可减少组件部署成本。通过租户共享,辅助权限管控,实现租户之间数据的共享。基于 TDC 帮助富国基金构建的企业级数据 PaaS 平台可以实现以下功能:

★ 统一富国基金的数据PaaS,大数据业务全部基于TDC 赋能

★ 数据 PaaS 平台支持开源组件、中间件的扩展

★ 实现多租户场景下多云融合

★ 提高了资源利用率,按需创建租户,租户资源互相给

★ 业务隔离,不同租户按需部署大数据产品实例

★ 应用和数据统一部署

★ 应用和数据逐步互通、融合

★ 基于私有云平台建设数据湖、Hyberbase容灾场景

★ 统一的数据湖空间,高效管理企业数据

★ 通过共享组件辅以权限控制,实现数据的按需共享和交换

★ 通过多租户数据湖进行统一的数据申请下发

最终成果

已完成构建集数据吞、吐、存、算于一体 的TDC数据湖第一阶段建设,实现包括离线批处理、数据分析、实时流处理等基础能力。
建设基于TDC的数据湖,实现多源数据归集,具备丰富的数据获取能力,实现数据在不同租户间的管理和共享,解决历史数据存储及数据孤岛问题。

正在探索的能力

不断优化完善基于 TDC 帮助富国基金构建的企业级数据 PaaS 平台,充分发挥大数据平台性能与场景优势,同时辅以数据资产管理及数据检核,助力富国基金数据质量整体提升,实现数据资产化并赋能业务应用。
搭建全生命周期的数据资产管理平台最终实现数据统一存储、统一资产管理、统一数据服务、统一安全管理及运维,在提升数据资产管理能力的同时,满足各应用系统多样化需求。
量化投研,基于星环时序数据库的产品能力以及多年来对于分布式计算的深刻理解,帮助富国基金提升智能量化投研能力。

未来规划

在完善数据管理能力的基础上,帮助富国基金构建数据科学平台,实现反洗钱、舆情监控、智能选基等人工智能场景。

点赞
收藏
评论区
推荐文章
直播回顾 | 企业级飞速低代码:如何助力企业数字化转型升级
后疫情时代,传统企业数字化转型进程加速。低代码平台以低成本低门槛、普惠化、个性化的特色优势,逐渐成为弥补数字化转型市场供需矛盾的有力帮手,正在从泛互联网行业向传统行业加速渗透。飞速低代码平台已与腾讯、格力、碧桂园、OPPO河南建业旗下筑友科技、岭南股份、中国电子科技集团、北京燃气、扬子江药业、广东财政厅等多个行业头部客户合作,在赋能大型企业进行数字化转型方
发挥云网融合优势,天翼云为政企铺设数字化转型跑道
7月26日,由中国电子学会主办的“2022年中国云计算和大数据技术与应用大会”在京举行。会上,天翼云助力打造的国新私有云解决方案与中能融合能源工业互联网平台解决方案获评优秀方案成果奖。天翼云行业解决方案总监成俞晟受邀参会,发表了题为“构筑云网融合新基建,推进企业数字化转型——中国电信央企上云探索”的报告,针对天翼云科技创新成果与助力央企上云的标杆案例进行了介
CIO资源站 CIO资源站
3年前
7份数字化转型资料,全是精品,值得收藏(附下载)
7份关于数字化转型的资料都整理好了,需要的文末自取:1.华为2021年数字化转型,从战略到执行.PDF下载《数字化转型,从战略到执行》报告结合100多个国家的案例与数据,从6个角度(个人家庭企业城市行业国家)、4个层次(国家城市行业企业)、4个阶段(基础信息化应用数字化全面系统化智慧生态化),系统解读数字化转型从战略到执行的全景框架,洞察实践,对不同数字化
天翼云坚持科技创新,加速算力普惠!
科技创新是企业长远发展的基石,更是国家发展的核心动力。而企业作为科技创新的主体,应以创新为目标,肩负起更多社会使命和责任。作为数字经济建设主力军,一直以来坚持核心技术自主研发,走出一条科技创新的成长路径,并积极服务于国家战略,赋能千行百业数字化转型,推进数
政务云建设提速,天翼云夯实智慧政务数字底座
5月30日,2023数字政府高质量发展论坛在北京举办,大会聚焦业界关注的政策、技术、应用、标准、发展等议题,邀请政产学研各界共议政府数字化转型之路。现场重磅发布了由中国电信联合中国信息通信研究院云计算与大数据研究所共同撰写的《安全可信政务云一体化建设白皮书》(以下简称“白皮书”),中国信息通信研究院云计算与大数据研究所政企数字化转型部主任徐恩庆、中国电信天翼云科技有限公司政务行业中心总经理张星出席发布仪式。
邢德全 邢德全
1年前
基于企业级SaaS低代码平台的协同制造产品解决方案
万界星空科技平台作为一款“乐高型”的企业级管理系统平台,其具有高度灵活的“数据流程角色”动态信息管理模型。可以更专业与快速的搭建企业运营所需的各类管理系统,大幅节约研发成本和时间,帮助企业实现全方位的数字化转型;万界星空深耕制造业,专注低代码行业解决方案。
邢德全 邢德全
1年前
制造业各种管理系统的介绍及集成
万界星空科技低代码平台提供的MES,WMS,QMS等应用,是助力企业从数字化工厂向数字化企业升级的落地管道及载体,能帮助企业在数字化转型的过程中,实现制造企业与其供应链的协同制造。
数字先锋 | SaaS服务“拎包入住”?央企数字化转型体验感拉满!
在数字化转型过程中,SaaS模式凭借其快速部署、易于管理、成本低廉等优势,成为国资央企数字化转型的首选模式之一。基于国资央企SaaS应用服务共享平台,中国电信天翼云与中国信科共建国云邮箱SaaS应用,依托标准化、高质量的邮箱系统,提供了高效的管理和运营支撑,为行业持续深入数字化转型提供了科技创新样本。
京东云开发者 京东云开发者
8个月前
Docker运行环境安装
作者:京东科技林中Docker是一个开放的平台,用于开发、发布和运行应用程序。Docker分离了应用程序和运行应用的基础设施,从而实现了软件的快速交付。利用docker提供的一系列功能,包括构建、发布、测试和部署,可以帮助开发人员将最新版本代码应用到生产环
一朵“云“如何带来产业新变革
随着数字化转型进程不断推进,云计算市场规模不断扩大,“如何通过云服务为产业数字化变革赋能”成为各行业关注的话题。10月15日,天翼云科技有限公司研发一部副总经理杨鑫应邀出席2021年第六届IDC中国数字化转型年度盛典,并发表《云网数智安一体,赋能产业数字化变革》的主题演讲,分享了天翼云对企业数字化转型的理解与探索。安全可信是高质量数字化转型的关键要素。杨鑫表
点赞!TeleDB入选2024大数据星河案例!
12月18日,由中国信息通信研究院和中国通信标准化协会大数据技术标准推进委员会(CCSATC601)共同组织的2024大数据“星河”案例入围名单正式发布,天翼云科技有限公司携手中国电信股份有限公司广东分公司、广东亿迅科技有限公司联合申报的“广东电信基于下一代分布式数据库TeleDB在企业数据中台应用与创新实践”成果首次成功入选数据库专项典型案例,再次彰显了天翼云在数据库领域的技术创新实力与行业领先地位。