HelloWorld 开发者社区
科技资讯
微软 MAI Code 2 系列进入 Copilot:按工程任务选择编程模型
OpenAI 发布 GPT-6.2 Astra 与 Sol:专业交付、编程效率与团队选型
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
开源项目
全部项目推荐好文
大数据开发之Hive如何提高查询效率
今天分享一下Hive如何提升查询效率。Hive作为最大数据培训(https://link.segmentfault.com/?encFsei%2B4lHRvvnTWuKidwoYw%3D%3D.E1iuRHBthusQlum0bpHJYvGVAIraSOTs1Msk136C6HI%3D)常用的
大数据开发Hive之如何进行数据抽样
在大规模数据量的数据分析及建模任务中,往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源,大数据培训(https://link.segmentfault.com/?encUGzgeu1TYnfj5ooth6fAOg%3D%3D.L8s3MAQi5DAj6boji51pSTnlHVKlEUl
Hive SQL优化思路
Hive的优化主要分为:配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是:减少数据量(例如分区、列剪裁)避免数据倾斜(例如加参数、Key打散)避免全表扫描(例如on添加加上分区等)减少job数(例如相同的on
大数据开发之Hive SQL内置函数
前言Hive内部提供了很多函数给开发者使用,包括数学函数,集合函数,大数据培训类型转换函数,日期函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。!(https://imghelloworld.osscnbeijing.aliyuncs.com
HIVE 中临时表创建
在我们编写SQL时候,常常需要使用到临时表。然后我们根据这个临时表,进行之后的操作,但是创建临时表有一定的开销。1.WITH创建临时表如果这个临时表并不需要保存,并且下文只需要用有限的几次,我们可以采用下面的方法。withas也叫做子查询部分,首先定义一个sql片段,该sq
(转)大数据开发之Hive中UDTF函数
动作日志解析思路:动作日志表中每行数据对应用户的一个动作记录,一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的大数据培训日志过滤出来,然后通过UDTF函数,将action数组“炸开”(类似于explode函数的效果),然后使用get_json_object函
关于Hive数据查询的18种方
我们本期内容大部分HQL操作都需要依赖如下两张表,具体的数据内容如下:course!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/d790dcdee88ae9d760e12eb9451d6f74.png)stude
大数据开发之数仓工具Hive(一)
Hive产生的背景Hive的产生是基于mr计算框架的,简单的说就是mr学习过于复杂,成本过高,所以hive的初心是对mr做一层包装,让大家能利于sql的优势来处理数据。直接使用MapReduce处理大数据,将面临以下问题:1:MapReduce开发难度大,学习成本高(wordC
HMS数据库设置和优化
简介:HiveMetastore(HMS)是一种服务,用于在后端RDBMS(例如MySQL或PostgreSQL)中存储与ApacheHive和其他服务相关的元数据。本文主要分享HMS数据库设置和优化设置Metastore数据库如果您有本地集群,则需要知道
大数据开发之Hive
Hive简介定义Facebook为了解决海量日志数据的分析而开发了hive,后来开源给了Apache基金会组织。hive是一种用SQL语句来协助读写、管理存储在HDFS上的大数据集的数据仓库软件。hive特点▪hive最大的特点是通过类SQL来分析大数据,而避免
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。


