HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
14. 数据仓库分层之DWD层(2)
<blockquoteDWD层:对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据,行式存储改为列存储,改压缩格式)</blockquote接上一节内容。在事件表解析成功后,我们需要将事件表中的数据详细解析。以字段“en”来判断事件名称,最后具体到确定的表。
14. 数据仓库分层之DWD层(1)
<blockquoteDWD层:对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据,行式存储改为列存储,改压缩格式)。</blockquoteDWD层启动表数据解析创建启动表dwd_start_log<pre<codehive(gma
13. 数据仓库分层之ODS层
<blockquote接下来几节将详细介绍各层如何实现各自功能。<br/ODS层:存放原始数据,直接加载原始日志、数据。</blockquote启动hadoop集群,启动Hive。<pre<codehadoop@hadoop151~$startdfs.shha
12. 数据仓库分层
为什么要分层把复杂问题简单化。减少重复开发。隔离原始数据。<table<thead<tr<th</th<th作用</th</tr</thead<tbody<tr<tdODS层</td<td原始数据层。存放原始数据,不对数据
9. 安装Flume集群并采集数据
Flume简介<blockquoteFlume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能
8. 生成数据
日志启动将上一节中打包好的数据(带依赖)使用Xftp工具到hadoop151和hadoop152上,按照最开始集群规划,这两个节点为数据采集节点。在hadoop151、hadoop152上执行生成的数据。<pre<codehadoop@hadoop
4. 安装JDK
<blockquoteJDK是Java语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVMJava系统类库)和JAVA工具。<pLinux系统会自带一个的JDK,有时开发人员需要使用特定版本的JDK,因此
2. 虚拟机环境准备
集群规划<table<tbody<tr<th</th<th服务器</th<thhadoop151</th<thhadoop152</th<thhadoop153</th</tr<tr<tdHDFS</td<tdNameNo
订单仓库建设实践
背景某OTA门票的数据源分布在业务线的各个组内,订单系统、景区系统、产品系统、供应商后台系统、点评管理系统等。订单仓库涉及到的数据包括订单基础数据,景区基础数据,产品和票种数据,供应商基础信息等。门票订单基础订单包含以上数据的主键,在仓库建设中需要将门票的完整订单数据拼接到一起。例如订单
如何将数据仓库从 AWS Redshift 迁移到阿里云 AnalyticDB for PostgreSQL
阿里云AnalyticDBforPostgreSQL(以下简称ADBPG,即原HybridDBforPostgreSQL)为基于PostgreSQL内核的MPP架构的实时数据仓库服务,可以支持复杂ETL任务,也支持高性能在线查询,同阿里云生态紧密结合。AWS的Redshift同样为基于
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。