HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

国产 ETL 工具 etl-engine 流批一体数据交换系统 轻量级 跨平台 引擎

产品概述我们不仅仅是数据的搬运工,还是数据搬运过程中加工处理的工厂。我们不仅仅适用关系型数据库中,还适配当下流行的时序数据库、消息中间件、Hadoop生态中,支持多种类型数据库之间的融合查询及流式计算。etlengine的核心思想是为用户快速搭建ETL产品提供解决方案

数据仓库(10)数仓拉链表开发实例

拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。<blockquote维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记

数据仓库(09)数仓缓慢变化维度数据的处理

  数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快速的事实表相比,维度变化相对缓慢。阴齿这个就叫做缓慢变化维。  这里介绍的就是这些维度变化的处

数据仓库(08)数仓事实表和维度表技术

所谓的事实表和维度表技术,指的就是如何和构造一张事实表和维度表,是的事实表和维度表,可以涵盖现在目前的需要和方便后续下游数据应用的开发。事实表,就是一个事实的集合。事实来自业务过程的度量,基本上以数量值表示。事实表行对应一个事实,一个事实对应一个物理可以观察的事件,例如,再零售事件中,

个推TechDay直播回顾 | 分享基于Flink的实时数仓搭建秘诀,附课件下载

近日,个推TechDay“治数训练营”系列直播课第二期举办。来自每日互动(个推)的资深数据研发工程师为大家详细解读了实时数仓架构演进,分享了实时数仓的技术选型要点,并结合实战案例详细剖析实时数仓搭建秘诀。课程回顾!图片(https://imghelloworld.ossc

高达每秒100多个作业吞吐量,这一款IT运维国产神器,杀疯了!

国产神器TASKCTLTASKCTL是专门为批量作业调度自动化打造的一款专业的敏捷调度工具,批量调度自动化技术是大数据时代数据整合后台不可缺少的重要技术。现在数据是整个社会和各企业团体的重要资产,管好数据、用好数据是整个社会的重要命题。想要用好数据,实现企业数字化快速转型,首先就

复杂 ETL 下 JobEngine 阻塞问题排查实录

<blockquote本文作者:zsh,效力于观远计算引擎团队,在不断提高数据系统服务稳定性方面做着一点微小的工作。</blockquote问题背景在我们将Spark版本从3.0.1升级至3.2.1之后,发现某个ETL无法正常运行了,而在升级之前运行都是正常的。

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。