阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

熵桥流沙
• 阅读 386

推荐算法与系统在全球范围内已得到广泛应用,为用户提供了更个性化和智能化的产品推荐体验。在推荐系统领域,AI建模中特征数据的复用、一致性等问题严重影响了建模效率。阿里云机器学习平台 PAI 推出特征平台(PAI-FeatureStore) 。在所有需要特征的AI建模场景,用户可通过 Feature Store 轻松地共享和重用特征数据,减少资源和时间成本、提升工作效率。

什么是特征平台

特征平台(Feature Store) 是一种中心化的数据管理和共享平台,用于组织、存储和管理机器学习和数据科学中使用的特征数据。在多个细分场景解决AI模型的训练和推理输入特征数据问题。

阿里云机器学习平台 PAI-FeatureStore 与阿里云多个云产品的深度结合,封装从特征到模型的全链路。并且,基于推荐算法流程的开发,实现与已有的成熟推荐流程无缝衔接,进一步提升算法工程师和开发人员的效率。

通过 PAI-FeatureStore,有效地提升工作效率、减少资源成本和开发时间。作为一个集中的、可扩展的、高效的特征数据存储和访问解决方案,解决了在AI建模中特征数据的复用、一致性、可发现性和可管理性等问题。PAI-FeatureStore 自动完成在线和离线表的构建,保证在线和离线的一致性,同时在特征表只存一份的情况下,能够向多人共享特征;离线存储方面支持阿里云云原生大数据计算服务MaxCompute,在线存储方面支持阿里云实时数仓Hologres、GraphCompute 和 TableStore 等产品,算法工程师无需深入了解各个存储产品的使用细节,通过网页手动操作或 Python SDK 即可完成特征处理。

阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

PAI-FeatureStore 适用场景及优势功能

阿里云机器学习平台 PAI-FeatureStore 适用于推荐场景、用户增长、广告或者是金融风控场景等需要特征的AI建模场景,为数据分析师和建模人员提供统一的数据特征存储和管理平台,方便进行数据处理、特征提取和分析。

目前 PAI-FeatureStore 主要功能如下:

  • 离线数据和在线数据一致:PAI-FeatureStore 中,各个产品的数据同步操作都封装为一行数据同步的代码,帮忙用户屏蔽了不同存储产品繁琐的数据授权等操作细节,保证数据一致性,提高特征数据处理和使用的准确率和效率;

<!---->

  • 自动关联特征表:PAI-FeatureStore 中,支持将模型训练所需要的各种特征组合在一起,导出成模型训练所需要的训练表。当训练所需的特征散落在多张不同的表里时,PAI-FeatureStore支持自动将多张表关联导出。并且,支持序列表导出、按event_time关联导出、自动按表大小排序及优化导出时间等;
  • 自动模型特征分析:PAI-FeatureStore 支持PAI-EAS自动分析出模型需要使用的特征,并且自动加载好相关特征。通过指定好PAI-FeatureStore 中的项目名、模型特征名等,预测引擎能自动分析出所需要的特征并进行加载,简化使用流程;
  • 实时特征秒级读取:PAI-FeatureStore 支持客户对特征进行分类的注册。在实时特征值存在秒级别变化的推荐场景中,对特征链路要求高,当有线上请求来读取特征时,PAI-FeatureStore会判断需要读取的若为实时特征,直接对在线存储的进行读取。上千个实时特征的读取可以在15ms,满足低延迟要求;
  • 多版本特征管理:PAI-FeatureStore 支持增量挖掘特征,解决特征种类复杂,线上数据来源多样的问题。方便线上模型迭代,同时节约存储资源;

此外,PAI-FeatureStore 还有深度结合PAI全链路推荐系统PAI-REC,实现离在线一致性检查;通过SDK可直接使用 PAI-FeatureStore 所有产品能力;支持 PAI-EAS 直接从 MaxCompute 拉取特征,减少在线存储压力等功能。

阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

如何使用 PAI-FeatureStore

使用步骤请参考产品文档:https://help.aliyun.com/zh/pai/user-guide/feature-store/

PAI-FeatureStore预计将于2023年9月中下旬在全Region正式上线。

目前PAI-FeatureStore仅供白名单申请使用,如果您希望使用 PAI-FeatureStore 功能,您在钉钉搜索群号“34415007523”或扫描下方二维码进入申请答疑群。

阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

点赞
收藏
评论区
推荐文章
黎明之道 黎明之道
4年前
天池比赛数据挖掘心电图特征工程
Task3特征工程3.1学习目标学习时间序列数据的特征预处理方法学习时间序列特征处理工具Tsfresh(TimeSeriesFresh)的使用3.2内容介绍数据预处理时间序列数据格式处理加入时间步特征time特征工程时间序列特征构造特征筛选使用tsfresh进行时间序列特征处理
Stella981 Stella981
4年前
Serverless
  使用Baas和Faas是Serverless应用的基本特征,符合这两个基本特征的应用可称为Serverless应用。Baas(BackendasaService,后端即服务,使用了公共云提供的对象存储和数据库服务)。Faas(FunctionsasaService,函数即服务,使用Lambda框架)。AI应用用到了对象存储
17个机器学习的常用算法!
根据数据类型的不同,对一个问题的建模有不同的方式。在机器学习或者人工智能领域,人们首先会考虑算法的学习方式。在机器学习领域,有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法,这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。1.监督式学习:2.非监督式学习:在非监督式学习中,数据并不被特别标识,学习模
绣鸾 绣鸾
2年前
DataSpell 2023 for mac(数据科学IDE)
是一款由ActiveState公司开发的跨平台数据科学和机器学习开发工具,它旨在提供一整套工具和服务,帮助数据科学家和机器学习工程师更加高效地进行数据分析和建模。DataSpell的特点包括:1.适用于不同的编程语言和库:DataSpell支持多种编程语言
绣鸾 绣鸾
2年前
DataSpell 2023 for mac(数据科学IDE)
是一款由ActiveState公司开发的跨平台数据科学和机器学习开发工具,它旨在提供一整套工具和服务,帮助数据科学家和机器学习工程师更加高效地进行数据分析和建模。DataSpell的特点包括:1.适用于不同的编程语言和库:DataSpell支持多种编程语言
京东广告算法架构体系建设--在线模型系统分布式异构计算演变 | 京东零售广告技术团队
一、现状介绍算法策略在广告行业中起着重要的作用,它可以帮助广告主和广告平台更好地理解用户行为和兴趣,从而优化广告投放策略,提高广告点击率和转化率。模型系统作为承载算法策略的载体,目前承载搜索、推荐、首焦、站外等众多广告业务和全链路的深度学习建模,是广告算法
胡赤儿 胡赤儿
1年前
AI与机器学习:探索智能未来的前沿
人工智能(AI)与机器学习(MachineLearning)是当今科技领域最令人振奋的前沿领域之一。它们不仅影响着我们的日常生活,还在改变着工业、医疗、金融等各个领域的发展路径。在本文中,我们将深入探讨AI与机器学习的核心概念、技术原理以及它们在现实世界中
大模型在推荐系统中的精准推荐策略与实践
引言推荐系统在现代互联网应用中占据了极其重要的位置。无论是电商平台、社交媒体、音乐和视频流媒体服务,还是新闻和内容推荐系统,推荐系统都在提高用户体验和平台收益方面发挥着关键作用。近年来,随着人工智能和机器学习技术的迅猛发展,大模型(如GPT4、BERT等)
迁移学习(Transfer Learning)的背景、历史及学习课
迁移学习(TransferLearning)的背景、历史及学习人工智能培训网chinaai.org迁移学习的背景、历史及学习1、迁移学习提出背景在机器学习、深度学习和数据挖掘的大多数任务中,我们都会假设training和inference时,采用的数据服从相同的分布(distribution)、来源于相同的特征空间(featurespace)。但