数据智能构建管理平台Dataphin V2.9.4.3版本发布

逻辑冰川
• 阅读 871

简介:Dataphin发布V2.9.4.3版本升级多项产品能力,该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

1 产品简介

Dataphin是阿里巴巴集团OneData数据治理方法论基于内部实践的产品化输出,一站式提供数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算引擎支持及可拓展的开放能力,以适应各行各业的平台技术架构和个性化诉求。

2 版本概览

2021年6月,Dataphin发布V2.9.4.3版本,升级多项产品能力。
• 平台能力上,拓展计算引擎丰富度和OpenAPI覆盖度
• 数据集成模块,拓展支持的MySQL数据源版本和一键建表覆盖范围,以提升配置效率
• 监控能力上,优化告警接收规则配置,提提升灵活性适配更多监控场景
• 资产中心,优化逻辑表预览及敏感字段识别规则,完善资产链路
• 数据服务拓展API分页查询能力,以拓展查询范围,提升服务响应效率和链接稳定性

该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。

3 新版本重点特性详解

特性1:计算引擎新增支持CDH6

新增针对CDH6计算引擎的适配,以提升多引擎兼容能力;截至当前版本,Dataphin支持的计算引擎类型包括:MaxCompute、CDH5、CDH6、EMR。

数据智能构建管理平台Dataphin V2.9.4.3版本发布

特性2:MySQL数据源支持8.x版本

目前,8.0是市面上比较主流且使用度较广的MySQL数据库版本。Dataphin在已经支持MySQL 5.6和5.7数据源的基础上,新增支持MySQL 8.0版本,可以在数据同步、数据服务等模块基于该数据源进行配置,以提升业务数据覆盖度。

数据智能构建管理平台Dataphin V2.9.4.3版本发布

特性3:数据集成支持在Oracle目标库一键建表

支持在目Oracle目标库一键创建数据建表,以简化配置流程,提升数据同步配置效率。截至当前版本,一键建表功能一共覆盖4种目标数据源:MaxCompute、Oracle、Hive、AnalyticDB for PostgreSQL。

数据智能构建管理平台Dataphin V2.9.4.3版本发布

特性4:任务运行监控和质量监控支持给不同的接收对象指定不同的告警和接收方式

升级前,针对所有选中的接收人,均需要配置相同的告警接收方式。升级至本版本后,针对不同的接收人类型,可以指定不同的接收方式,以根据实际情况实现区别告警。如:任务负责人需要了解自己所负责的任务运行概况,但不需要立即处理异常情况,可以选择短信告警;值班负责人需要及时发现异常并处理,可以选择电话作为强提醒;项目管理员需要定期统计告警概况,可以选择邮件告警以方便记录和统计。

数据智能构建管理平台Dataphin V2.9.4.3版本发布
数据智能构建管理平台Dataphin V2.9.4.3版本发布

特性5:资产地图新增逻辑表数据预览功能、资产安全支持手动触发敏感字段识别

新增逻辑表预览功能,针对有权限的字段,直接展示抽样的数据记录,若字段设置过脱敏规则,则仅展示脱敏后的数据;针对无权限的字段,提示“无权限”字样并提供快捷申请的跳转链接。结合该功能,Dataphin完善了逻辑表从研发到资产沉淀到消费预览的全链路,提升了建模体验。

数据智能构建管理平台Dataphin V2.9.4.3版本发布

默认情况下,在资产安全模块配置了敏感数据识别规则后,次日开始每日定时进行扫描。本次在每日定时扫描的基础上,新增支持用户手动触发敏感数据识别任务的运行,以实现新增规则立即生效,以及临时变更场景下的记录及时更新,提升敏感数据识别覆盖场景。

数据智能构建管理平台Dataphin V2.9.4.3版本发布

特性6:数据服务支持基于Impala数据源创建的API分页查询,以拓展查询范围,提升查询稳定性

历史版本中,考虑到查询性能,基于Impala数据源创建的的API单次查询仅支持返回最大1000条结果,无法满足大数据量查询场景,影响下游业务使用。本次针对基于Impala数据源创建的API,提供分页查询能力,支持通过limit或offset语句设置分页条件,以保证服务连接稳定性和相应效率,支持大数据量查询的场景。

4 总结与展望

本次发布的V2.9.4.3版本中,Dataphin围绕计算引擎、数据源、数据集成、监控告警、数据服务进行了功能迭代升级;在下一个版本中,我们将重点支持FusionInsight计算引擎适配、数据萃取升级、OpenAPI扩展、运维补数据能力提升、数据服务多项目等功能,敬请期待!

原文链接
本文为阿里云原创内容,未经允许不得转载。

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
3年前
MySQL 安装与基本概念
Mysql版本第一条产品线:5.0.xx及升级到5.1.xx的产品系列,这条产品线继续完善与改进其用户体验和性能,同时增加新功能,这条路线可以说是MySQL早期产品的延续系列,这一系列的产品发布情况及历史版本如下:MySQL5.1是当前稳定(产品质量)发布系列。只针对漏洞修复重新发布;没有增加会影响稳定性的新功能。第二条5.4.x
Stella981 Stella981
3年前
Kerberos无约束委派的攻击和防御
 0x00前言简介当ActiveDirectory首次与Windows2000Server一起发布时,Microsoft就提供了一种简单的机制来支持用户通过Kerberos对Web服务器进行身份验证并需要授权用户更新后端数据库服务器上的记录的方案。这通常被称为Kerberosdoublehopissue(双跃点问题),
Wesley13 Wesley13
3年前
VBox 启动虚拟机失败
在Vbox(5.0.8版本)启动Ubuntu的虚拟机时,遇到错误信息:NtCreateFile(\\Device\\VBoxDrvStub)failed:0xc000000034STATUS\_OBJECT\_NAME\_NOT\_FOUND(0retries) (rc101)Makesurethekern
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Stella981 Stella981
3年前
HugeGraph发布可视化平台Hubble首个版本
近日,大规模图数据库HugeGraph宣布,正式发布图可视化分析平台HugeGraphHubblev1.5版本。该版本全面升级平台可视化工具,打造一站式图服务,从数据建模,到数据快速导入,再到数据的在线、离线分析,以及图的统一管理,实现了图应用全流程的向导式操作,旨在提升社区用户的使用顺畅度,降低使用门槛,提供更为高效易用的使用体验。HugeGr
Stella981 Stella981
3年前
OVM
_OVM__是__国内首款、完全免费、企业级——混合虚拟化管理平台,_从中小企业目前的困境得到启发,完全基于国内企业特点开发,更多的关注国内中小企业用户的产品需求。伴随着对前版本bug修复和体验方面的优化,OVMV1.3版在11月18日正式发布,OVMV1.3对界面UI进行了全面的改版和升级,并新增虚拟机批量操作、重置虚拟机密
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
子桓 子桓
1年前
Mac电脑图像处理必备:Photoshop 2024 (ps)中文最新安装包v25.1正式版
Photoshop2024在前一版本的基础上进行了一系列改进和更新,以提供更强大的功能和更流畅的用户体验。以下是该版本的一些主要特点:快速性能:Photoshop2024提供了更快的渲染速度和更高效的处理能力,让用户能够更快地完成工作。AI功能:该版本引入
美凌格栋栋酱 美凌格栋栋酱
5个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(