13万张表+数亿行代码,迁移只需数小时,还是异构数据库

算法寻星家
• 阅读 1192
摘要:而对企业来说,构建统一的数据底座,才能让数据供应和业务端更高效、更安全、更易共享。随着技术的日新月异,上云已非难事,但异构数据库(转换数据库类型)迁移上云在业界仍是一个巨大的挑战。

本文分享自华为云社区《13万张表,数亿行代码,华为云UGO助力异构数据库迁移只需小时级完成!》,原文作者:心机胖 。

当前,云上办公,云上交易,云上数字运营已成为主流,不把业务部署到云端,仿佛跟不上时代的步伐。而对企业来说,构建统一的数据底座,才能让数据供应和业务端更高效、更安全、更易共享。随着技术的日新月异,上云已非难事,但异构数据库(转换数据库类型)迁移上云在业界仍是一个巨大的挑战。
13万张表+数亿行代码,迁移只需数小时,还是异构数据库

华为集团是多业态、长链条、全场景的企业,在20年前就开始使用数据库,遍布了研发、供应、财经、行政等领域,有离线场景、实时场景、数仓等使用场景,这些场景使用主流商业数据库居多,随着数字化转型进程加快,在迭代方面,跟不上云的节奏,于是华为集团流程IT携手华为云数据库寻求云上转型。
13万张表+数亿行代码,迁移只需数小时,还是异构数据库

对于拥有海量数据、多种数据库类型、数据库专家云集的华为集团流程IT来说,上云也并非易事。业界盛行“两条腿”走路原则,既要多快好省又要安全稳定可靠,当然华为集团也不例外。面临新的异构数据库,既希望性能大幅提升,也要安全稳定,于是华为集团流程IT选择将业务搬迁至华为云数据库RDS与GaussDB,而兼容性和性能是异构数据库迁移最大的难题。
13万张表+数亿行代码,迁移只需数小时,还是异构数据库

关山难越,异构数据库迁移难以逾越的“深坑”

迁移数据库如同搬家,直接搬不太可行,需要先搬“房子主体”,再搬“房子里的家具”等,其中涉及的迁移问题不仅繁杂,而且不能出差错。尤其是令人头疼的兼容问题,不但涉及到结构迁移、语法转换、SQL转换等复杂操作,对数据库性能要求也很高。

腾云而出,华为云UGO为自动化搬迁而生

13万张表+数亿行代码,迁移只需数小时,还是异构数据库
首先华为云数据库联合华为集团流程IT对业务进行全面评估,华为集团数据库有数十万张表,10万级的存储过程,存储过程的代码超过亿级的代码,几十万个任务调度,迁移数据量高达数TB。经评估后,应用手动改造工作量巨大,需要成熟的企业级端到端对象迁移或者是评估工具,来提升异构数据库迁移转化率。

华为云推出的数据库和应用迁移 UGO则为异构数据库对象迁移和应用迁移而生!通过预迁移评估、自动化语法转换,帮助用户提前识别迁移风险,提升迁移效率,最大化降低用户的数据库迁移成本。华为云数据库给出了三步走的迁移方案,通过华为云UGO评估并转换异构数据库语法进行语法迁移,再通过华为云数据复制服务DRS基于日志的实时变化数据捕捉,进行数据迁移,最后通过华为云DRS数据校验保证数据一致性。
13万张表+数亿行代码,迁移只需数小时,还是异构数据库

使用的关键技术有:1)迁移工作量评估:依据海量业务场景下的实际人力迁移成本作为评估基线,依据大量业务场景自动化迁移过程,累计迁移工作量作为输入,同时结合代码量、转化率、不兼容特性改造难度,方便客户对迁移工作有一个具体的量化感知。2) 应用SQL迁移:通过采集源库SQL流量,并进行SQL动态转换,将数据通过流量仿真回放形式迁移到目标库中,提供自动错误定位和迁移校验,迁移过程中订正对象清晰明确。同时,通过对源库进行迁移评估和SQL翻译,并且输出SQL翻译报告,完成应用改造,最后迁移到目标库。
13万张表+数亿行代码,迁移只需数小时,还是异构数据库

神速之光,华为云UGO小时级完成搬迁

华为集团流程IT拥有数TB级别的数据量、数十万存储过程,迁移周期从以天为单位缩短至小时级,减少了50%存储过程改造成本,支撑主流商业数据库500+个Schema迁移,节省了70%+工作量,迁移套数1000+。

在一般情况下,迁移周期和各方面的评估需要1-2个月的时间,迁移周期也是按天计算,而UGO只需小时级就完成了迁移。华为云UGO消除了异构数据库迁移难度大、周期长、成本高等问题,高效的支撑了华为集团流程IT数字化转型。此外,上云后实现了数据库分钟级扩容、数据秒级入库,解决了传统数据库扩展难及数据入库压力大的问题,可支撑逻辑库亿级别的数据量。微服务化改造后,预期可支撑2年的业务数据增长。
13万张表+数亿行代码,迁移只需数小时,还是异构数据库

目前,华为云数据库应用迁移解决方案顺利通过信通院“数据库应用迁移服务能力”评测,成为国内首批通过该项的商用数据库迁移方案,成功取得了国内首批评测最高级别的成绩。未来,华为云UGO将会不断创新,持续构筑技术硬实力,为客户提供更简单易用、高效可靠的迁移方案。

华为云UGO火热公测中,立即免费体验

点击关注,第一时间了解华为云新鲜技术~

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
怎样运用DMS轻轻松松迈开数据库查询使用云服务器第一步,看这一篇就可以了
最近,AWS在由光环新网经营的AWS我国(北京市)地区和由西云数据经营的AWS我国(甘肃)地区发布了,它能够协助我们在许多情景进行数据库迁移:•能够将数据信息入迁或迁移AmazonEC2上创建的数据库查询或AmazonRDS;•适用同构或对映异构数据库查询的转移;•适用724钟头online的数据库迁移;•能够开展跨region、跨账户的数据库查询数据备份
怎样运用AWSDMS轻轻松松迈开数据库查询使用云服务器第一步,看这一篇就可以了
最近,AWS在由光环新网经营的AWS我国(北京市)地区和由西云数据经营的AWS我国(甘肃)地区发布了服务项目(下称DMS),它能够协助我们在许多情景进行数据库迁移:•能够将数据信息入迁或迁移AmazonEC2上创建的数据库查询或AmazonRDS;•适用同构或对映异构数据库查询的转移;•适用724钟头online的数据库迁移;•能够开展跨region、跨账
Stella981 Stella981
3年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
怎样运用AWS轻轻松松迈开数据库查询使用云服务器第一步,看这一篇就可以了
最近,AWS在由光环新网经营的AWS我国(北京市)地区和由西云数据经营的AWS我国(甘肃)地区发布了服务项目(下称DMS),它能够协助我们在许多情景进行数据库迁移:•能够将数据信息入迁或迁移AmazonEC2上创建的数据库查询或AmazonRDS;•适用同构或对映异构数据库查询的转移;•适用724钟头online的数据库迁移;•能够开展跨region、跨账
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
3年前
Dubbo爆出严重漏洞!可导致网站被控制、数据泄露!附解决方案
http://dy.163.com/v2/article/detail/F5FPIFRU0511Q1AF.html  !(http://dingyue.ws.126.net/2020/0216/125ec4c4p00q5rcrs0019d200ig009qg00ig009q.png)  来源:华为云  原文地址:https://w
京东云开发者|京东云RDS数据迁移常见场景攻略
云时代已经来临,云上很多场景下都需要数据的迁移、备份和流转,各大云厂商也大都提供了自己的迁移工具。本文主要介绍京东云数据库为解决用户数据迁移的常见场景所提供的解决方案。场景一:数据迁移上云数据迁移上云是最常见的一类场景,目前京东云提供了两个