HelloWorld 开发者社区
科技资讯
微软 MAI Code 2 系列进入 Copilot:按工程任务选择编程模型
OpenAI 发布 GPT-6.2 Astra 与 Sol:专业交付、编程效率与团队选型
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
开源项目
全部项目推荐好文
14. 数据仓库分层之DWD层(1)
<blockquoteDWD层:对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据,行式存储改为列存储,改压缩格式)。</blockquoteDWD层启动表数据解析创建启动表dwd_start_log<pre<codehive(gma
13. 数据仓库分层之ODS层
<blockquote接下来几节将详细介绍各层如何实现各自功能。<br/ODS层:存放原始数据,直接加载原始日志、数据。</blockquote启动hadoop集群,启动Hive。<pre<codehadoop@hadoop151~$startdfs.shha
11. 安装Hive及MySQL
<blockquoteHive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。
hive 使用优化实践
背景在工作中需要同步pg数据库下的某张表到hive,使用的工具是开源的sqoop,业务表的数据表包含最近一年的数据,数据表的行数为366,830,898,数据表的字段个数为71个,数据表在pg中的空间大小为110G;pg中表没有唯一主键,同一个id的数据可能会出现多次,且都是业务允许的正
Hive命令
列出存在的DB<pre<codeshowdatabases;</code</pre生成db<pre<codecreatedatabaseifnotexistsbookdb;</code</pre删除db<pre<c
sqoop 增量导入,数据重复问题
原文连接:https://segmentfault.com/a/1190000021597763(https://segmentfault.com/a/1190000021597763)根据自增ID导入数据时重复,可以使用下列方法!image.png(https://imghell
Hive JdbcStorageHandler 实践
背景在数据仓库的建设中从业务库同步数据到分析库后者hive是不可避免的流程。在关系型数据库到hive的流程中,现有的业务是用sqoop去同步,但是sqoop1的bug还是有的,例如同步数据的时候的编码问题,特殊字符问题,字段为null的问题等。使用hive的JdbcStorageHan
自建Hive数据仓库跨版本迁移到阿里云E-MapReduce
最佳实践概述应用场景客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统,同时借助Hive进行常见的ETL任务。客户在决策上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。技术架构本实践方案基于如
大数据存储格式的进化之旅
_本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注我们的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。_自03年开始,大数据三驾马车纷至沓来,同志们第一次拥有了分布式计算存储能力。这种暴发户式的转变,让人们莫名有了十足的底气:<blockquote“
60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践
Facebook经常使用分析来进行数据驱动的决策。在过去的几年里,用户和产品都得到了增长,使得我们分析引擎中单个查询的数据量达到了数十TB。我们的一些批处理分析都是基于Hive平台(ApacheHive是Facebook在2009年贡献给社区的)和Corona(Facebook内
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。


