HelloWorld 开发者社区
科技资讯
微软 MAI Code 2 系列进入 Copilot:按工程任务选择编程模型
OpenAI 发布 GPT-6.2 Astra 与 Sol:专业交付、编程效率与团队选型
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
开源项目
全部项目推荐好文
大数据工程师面试题(一)
讲一下第一个项目hive中shuffle的优化压缩压缩可以使磁盘上存储的数据量变小,通过降低I/O来提高查询速度。对hive产生的一系列MR中间过程启用压缩<pre<codesethive.exec.compress.intermediatetrue;s
hive梳理
what&39;sHive是由Facebook开发的构建在Hadoop之上的数据仓库平台。它本身并不存储和处理数据,依赖于HDFS存储数据,依赖MR处理数据。而hive提供了一个类似sql的查询语言HiveQL来进行查询、变换数据等操作。当然HiveQL语句的底层是转换为相应的mapr
Hive+Sqoop浅度学习指南
业务需求:统计每小时的PV数数据采集hdfshive数据清洗(ETL)用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程字段过滤&34;31/Aug/2
Hive集群合并之应用端的负载均衡算法
!图片描述(/img/bVbsxlb?w1104&h794)0.背景有这么一个场景,我们有两个Hive集群,Hive集群1(后面成为1号集群)是一直专享于数据计算平台的,而Hive集群2(后面成为2号集群)是用于其他团队使用的,比如特征,广告等。而由此存在两
【4.分布式计算】hadoop-hive
hive对hdfs中数据进行抽象成表,可以通过sql组装m_p的过程。(更多大数据处理见:https://segmentfault.com/a/11...(https://segmentfault.com/a/1190000018729661))。数据通过mysql和hdfs存储,存储格式用的现
hive sql优化中的那些参数和使用方式
自动化MapJoin<pre<codesethive.auto.convert.jointrue;</code</pre自动化了MapJoin,之后我们就不需要在query中再写了。MapJoin用于小表Join大表的场景,在大表通过Mapper时,
好程序员大数据开发之掌握Hive的静态分区与动态分区
分区是hive存放数据的一种方式。将列值作为目录来存放数据,就是一个分区。这样查询时使用分区列进行过滤,只需根据列值直接扫描对应目录下的数据,不扫描其他不关心的分区,快速定位,提高查询效率。分动态和静态分区两种: 1.静态分区:若分区的值是确定的,那么称为静态分区。新增分区或者是加载分区数
hive函数中的operators, UDF, UDAF, UDTF, PTF
operators,!,<,>,ISNULL,...,,,/,...AND,OR,IN,...UDF(UserDefinedFunctions)_<em<em</emhive内置的udf函数</em(1
Hive database does not exist 排查
Hive安装完成之后,插入数据进行测试:<pre<codeinsertintotestvalues(&34;a&34;,&34;a&34;);</code</preinsertOK.然后select:<pre<codeselectfromtest;
hive sql常用技巧
1.多行合并多行合并常用于做区间统计,通过定义一定的金额区级,将上亿的记录降维为不同区间内总数。概括来说就是多映射到一。典型场景:基于用户交易天流水,计算每天不同金额段的金额笔数。!图片描述(/img/bVbkk8W?w352&h133)如用户的天交易流水表结构
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。


