MaxCompute问答整理之2020-03月

暴风骤雨
• 阅读 1967

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、在 MaxCompute SQL执行过程中,报错Table xx has n columns, but query has m columns如何处理?
MaxCompute SQL使用INSERT INTO/OVERWRITE插入数据时,需要保证SELECT查询出 来的字段和插入的表的字段匹配,匹配内容包括顺序、字段类型,总的字段数量。目前 MaxCompute不支持插入表的指定字段,其他字段为NULL或者其他默认值的情况,您可以 在SELECT的时候设置成NULL,例如SELECT ‘a’,NULL FROM XX。

问题二、MaxCompute 中使用什么方法可以实现相同字段连接,将group by产生的同一个分组中的值连接起来,返回一个字符串结果。类似MySql中的group_concat()函数?
MaxCompute可以使用WM_CONCAT函数来实现相同字段连接。具体函数说明可参考:
https://help.aliyun.com/document_detail/48975.html

问题三、如何在MaxCompute Java SDK上使用Logview排错?
MaxCompute Java SDK提供了Logview接口 i = SQLTask.run(odps, sql); String logview = odps.logview().generateLogView(i, 7 * 24);

问题四、如何进行增量数据同步到MaxCompute?
可以尝试两种方式,一种不变的数据进行增量同步,一种是会变的数据进行增量同步(不推荐使用此方式,只有如不支持Delete语句),可参考文档:https://help.aliyun.com/document_detail/87157.html

问题五、MaxCommpute中,如何修改表的Hash Clustering属性?
增加表的Hash Clustering属性语句如下:
ALTER TABLE table_name [CLUSTERED BY (col_name [, col_name, ...]) [SORTED BY (col_name [ASC | DESC] [, col_name [ASC | DESC] ...])] INTO number_of_buckets BUCKETS]
去除表的Hash Clustering属性的语法格式如下:
ALTER TABLE table_name NOT CLUSTERED;

问题六、Tunnel上传数据的时候报错信息如下:You cannot complete the specified operation under the current upload or download status
错误原因:Session过期或者已经Commit过,需要重新创建Session上传。Tunnel上传时每个Session的生命周期是一天,如果源表数据太大,导致Session超时任务失败时,建议将源表拆分成2个任务执行。

问题七、如何使用Clone table实现同region不同账号之间的MaxCompute的数据迁移?
使用Clone table进行数据迁移操作,命令格式为CLONE TABLE <[src_project_name.]src_table_name> [PARTITION(spec), ...]TO <[dest_project_name.]desc_table_name> [IF EXISTS (OVERWRITE | IGNORE)] ;
可参考文章:https://developer.aliyun.com/article/748158

问题八、MaxCompute Python UDF如何开启Python 3?
在执行Python 3 UDF的SQL语句前增加set odps.sql.python.version=cp37;语句一起执行,即可开启Python 3。

问题九、MaxCompute中如何禁止/恢复生命周期功能?
可使用禁止/恢复生命周期SQL来设置。具体语法如下:

   ALTER TABLE table_name [partition_spec] ENABLE|DISABLE LIFECYCLE;

问题十、MaxCommpute中,如何查看指定的表或者分区是否存在?
可使用使用函数TABLE_EXISTS,查询指定的表是否存在。
使用函数PARTITION_EXISTS,查询指定的分区是否存在。
具体函数说明可参考:
https://help.aliyun.com/document_detail/48976.html

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
BraTS18——多模态MR图像脑肿瘤分割挑战赛
之前挑战赛的数据都是以CT图像为主,而医学影像还有其他模态,例如核磁共振成像。今天我将分享如何对多模态MR图像脑肿瘤进行分割处理。为了方便大家学习理解整个分割流程,我将整个流程步骤进行了整理,并给出每个步骤的结果,希望对大家有所帮助。一、脑肿瘤图像分析与预处理(1)、获取多模态MR图像属性信息。读取原始图像,显示图像大小,Spacing信
Python进阶者 Python进阶者
3年前
盘点3种Python网络爬虫过程中的中文乱码的处理方法
大家好,我是Python进阶者。前几天给大家分享了一些乱码问题的文章,感兴趣的小伙伴可以前往:,这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案,希望对大家的学习有所帮助。前言前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过程中中文乱码的问题,如下图所示。看上去确实头大,对于爬虫初学者来说,这个乱码摆在自己面前,犹如拦路虎一
Python进阶者 Python进阶者
3年前
盘点CSV文件在Excel中打开后乱码问题的两种处理方法
大家好,我是Python进阶者。前几天给大家分享了一些乱码问题的文章,阅读量还不错,感兴趣的小伙伴可以前往:,,今天基于粉丝提问,给大家介绍CSV文件在Excel中打开后乱码问题的两种处理方法,希望对大家的学习有所帮助。前言前几天有个叫【RSL】的粉丝在Python交流群里问了一道关于CSV文件在Excel中打开后乱码的问题,如下图所示。在Excel中直接
Stella981 Stella981
3年前
BraTS18——多模态MR图像脑肿瘤分割挑战赛续9
今天将继续分享从网络结构上进行改进提出ETVNet模型来分割脑肿瘤。为了方便大家学习理解整个分割流程,我将整个流程步骤进行了整理,并给出每个步骤的结果,希望对大家有所帮助。一、EdgeGuidance模块介绍在论文《ETNetAGenericEdgeaTtentionGuidanceNetworkforMedi
Stella981 Stella981
3年前
BraTS18——多模态MR图像脑肿瘤分割挑战赛续3
前面的文章中只对损失函数进行了不同尝试,今天将从网络结构上进行改进提出融合VNet模型来分割脑肿瘤。为了方便大家学习理解整个分割流程,我将整个流程步骤进行了整理,并给出每个步骤的结果,希望对大家有所帮助。一、脑肿瘤图像分析与预处理(1)、多模态MR脑肿瘤图像分析。分析的过程基本上跟上一篇一致,这里就不多言了,直接从数据处理开始。(2)
陈哥聊测试 陈哥聊测试
9个月前
情绪稳定!别再让Git合并冲突影响你工作了
在我看来,Git合并冲突是不可避免的。在本文,我想和大家简单分享一下遇到Git冲突该如何解决,希望对大家有所帮助。
咕咕鸡 咕咕鸡
2年前
记一次线上FGC问题排查
本文记录一次线上GC问题的排查过程与思路,希望对各位读者有所帮助。过程中也走了一些弯路,现在有时间沉淀下来思考并总结出来分享给大家,希望对大家今后排查线上GC问题有帮助。
Python进阶者 Python进阶者
1年前
盘点3种Python网络爬虫过程中的中文乱码的处理方法
大家好,我是Python进阶者。前几天给大家分享了一些乱码问题的文章,感兴趣的小伙伴可以前往:,这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案,希望对大家的学习有所帮助。前言前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过
万字长文,聊聊我在锦礼成长的这一年
”学而不思则罔,思而不学则殆“,本文记录了作者在锦礼侧工作1年间遇到的思考与成长、挑战与困难,也是对过去工作的总结与反思,分享出来,希望对大家有所帮助。本文约10000字如果觉得页面很长那是因为截图和留言很多,哈哈00引言光阴似箭,来到锦礼产品线已满一年了
京东云开发者 京东云开发者
10个月前
给Java同仁单点的AI"开胃菜"--搭建一个自己的本地问答系统
这是我参与创作者计划的第1篇文章大家好,因为对AI大模型很感兴趣,相信很多兄弟们跟我一样,所以最近花时间了解了一些,有一些总结分享给大家,希望对各位有所帮助;本文主要是目标是讲解如何在本地搭建一个简易的AI问答系统,主要用java来实现,也有一些简单的py