使用CLONE TABLE方式实现同region不同可用区的MaxCompute

抽象季风
• 阅读 1529

该文章主要针对于用户同region不同账户之间的MaxCompute数据迁移方式,属于迁移的方式可以有三种方式,一、添加MaxCompute数据源的方式进行数据迁移(该方式针对多个表配置同步节点较为繁琐);二、使用tunnel方式结合代码进行数据的迁移;三、使用clone table进行MaxCompute数据到另一MaxCompute之间的数据迁移。本案例主要介绍Clone table功能,Clone table跨账号进行同步数据,需要所做的添加对应的主账户到对应的项目空间,并且赋予有对应创建表权限的用户,最后实现不同MaxCompute之间的Clone table功能。

背景: 针对用户在不同MaxCompute之间进行数据迁移,使用三种方式的第一种、第二种进行数据的迁移造成了很多用户操作繁琐,在这里给大家带来一篇实践不同账号Clone table功能的一个范例,希望可以帮助到大家。

一、CLONE TABLE功能介绍


CLONE TABLE可以复制表数据到另一个表中,极大的提高了数据迁移的效率。本文为您介绍CLONE TABLE的使用。

使用限制

  • 要求目标表与源表的Schema兼容。
  • 支持分区表和非分区表。
  • 目标表已存在时一次性复制分区的数量上限为10000个。
  • 目标表不存在时无分区数量限制,满足原子性。

命令格式

CLONE TABLE <[src_project_name.]src_table_name> [PARTITION(spec), ...] TO <[dest_project_name.]desc_table_name> [IF EXISTS (OVERWRITE | IGNORE)] ;

具体使用情况请参阅CLONE TABLE功能介绍

二、添加用户与赋予用户权限


2.1进入需要同步数据的MaxCompute客户端,并添加目标源MaxCompute的主账号到目的空间

使用CLONE TABLE方式实现同region不同可用区的MaxCompute

限制 只能将另一个主账户添加到本项目空间

使用CLONE TABLE方式实现同region不同可用区的MaxCompute

涉及到的权限知识点可以参考MaxCompute与DataWorks权限介绍和示例

2.2查询所有角色,并查看对应角色的权限设置,并赋予新增用户的权限

使用CLONE TABLE方式实现同region不同可用区的MaxCompute

使用CLONE TABLE方式实现同region不同可用区的MaxCompute

三、在源MaxCompute创建对应的表,并插入数据


3.1在源MaxCompute创建对应的表并插入数据

CREATE TABLE IF NOT EXISTS git_project.testone(name STRING) STORED AS ALIORC;

INSERT INTO testone VALUES ('tom'); INSERT INTO testone VALUES ('tony');

四、clone数据,并确认数据是否clone是否成功


4.1在源MaxCompute执行命令

clone TABLE git_project.testone to WB_BestPractice_dev.testone IF EXISTS OVERWRITE;

使用CLONE TABLE方式实现同region不同可用区的MaxCompute

4.2登录MaxCompute目的端,查看是否迁移完成 执行命令

select * from testone;

使用CLONE TABLE方式实现同region不同可用区的MaxCompute

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码

上云就看云栖号:更多云资讯,上云案例,最佳实践,产品入门,访问:https://yqh.aliyun.com/

本文为阿里云原创内容,未经允许不得转载。

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
3年前
SQL优化器原理
摘要:在MaxCompute中,Join操作符的实现算法之一名为"HashJoin",其实现原理是,把小表的数据全部读入内存中,并拷贝多份分发到大表数据所在机器,在map阶段直接扫描大表数据与内存中的小表数据进行匹配。    这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架
怎样运用DMS轻轻松松迈开数据库查询使用云服务器第一步,看这一篇就可以了
最近,AWS在由光环新网经营的AWS我国(北京市)地区和由西云数据经营的AWS我国(甘肃)地区发布了,它能够协助我们在许多情景进行数据库迁移:•能够将数据信息入迁或迁移AmazonEC2上创建的数据库查询或AmazonRDS;•适用同构或对映异构数据库查询的转移;•适用724钟头online的数据库迁移;•能够开展跨region、跨账户的数据库查询数据备份
Wesley13 Wesley13
3年前
Oracle 12c远程克隆PDB的问题及修复(r12笔记第78天)
!(https://oscimg.oschina.net/oscnet/81c8221435df4b06b403a58d23a25769.gif) Oracle12c里面的PDB迁移还是有很多花样的,玩法很多,如果想达到一种平滑方式的迁移,克隆远程PDB也是一种方法,保证网络畅通,即可远程克隆PDB到指定的目标容器数据库中,当然这种方式还是
Easter79 Easter79
3年前
TiDB Ecosystem Tools 原理解读系列(三)TiDB
作者:张学程简介TiDBDM(DataMigration)是用于将数据从MySQL/MariaDB迁移到TiDB的工具。该工具既支持以全量备份文件的方式将MySQL/MariaDB的数据导入到TiDB,也支持通过解析执行MySQL/MariaDBbinlog的方式将数据增量同步到TiDB。特别地,对于有多个MySQL
Stella981 Stella981
3年前
Kafka数据迁移MaxCompute最佳实践
前提条件搭建Kafka集群进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka快速入门。本文使用的EMRKafka版本信息如下:EMR版本:EMR3.12.1集群类型:Kafka软件信息:Ganglia3.7.2ZooKeeper
Stella981 Stella981
3年前
RabbitMQ通过shovel插件迁移数据
前言生产环境中会遇到RabbitMQ(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.huaweicloud.com%2Fproduct%2Frabbitmq.html%3Fout)数据迁移的场景,例如:切换云服务厂商、不同Region之间数据迁移、新搭建Rabbit
ClickHouse数据表迁移实战之-remote方式 | 京东云技术团队
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。我们内部很多的报表、数据看板都基于它进行开发。今天为大家带来remote方式的ClickHouse数据表迁移的完整过程介绍,如有错误,还请各位大佬指正。
使用mybatis切片实现数据权限控制
一、使用方式数据权限控制需要对查询出的数据进行筛选,对业务入侵最少的方式就是利用mybatis或者数据库连接池的切片对已有业务的sql进行修改。切片逻辑完成后,仅需要在业务中加入少量标记代码,就可以实现对数据权限的控制。这种修改方式,对老业务的逻辑没有入侵
程序员一鸣 程序员一鸣
2个月前
鸿蒙开发:如何更新对象数组
关于对象数组中的数据更新,目前例举了三种方式,一种是传统的装饰器方式,另外两种是针对数据源进行操作,数据源直接赋值的方式,适合简单、高频的单元素修改,性能最优且类型安全,而splice方法适合复杂操作或需保持引用稳定的场景,但需注意性能损耗,在实际的开发中可以根据需求,选择自己适合的方式。
程序员一鸣 程序员一鸣
1个月前
鸿蒙开发:如何更新对象数组
关于对象数组中的数据更新,目前例举了三种方式,一种是传统的装饰器方式,另外两种是针对数据源进行操作,数据源直接赋值的方式,适合简单、高频的单元素修改,性能最优且类型安全,而splice方法适合复杂操作或需保持引用稳定的场景,但需注意性能损耗,在实际的开发中可以根据需求,选择自己适合的方式。
ES集群迁移方案总结
本文分享自天翼云开发者社区《ES集群迁移方案总结》,作者:刘鑫ES集群迁移可以通过以下几种方式实现,具体方案的选择,需要根据数据量、索引类型、网络情况等进行方案评估和选择。在实施迁移时,需确保目标集群能够承载迁移的数据量,并考虑到集群的可用性、数据一致性和