HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
ETL 引擎 engine 适配 elasticsearch
如何对Elasticsearch进行ETLetlengine已经提供读elasticsearch节点、写elasticsearch节点(测试环境elasticV8.5.2、elasticV7.17.6)通过etlengine可方便实现对关系型数据库、NoSQL之间相互数据交
国产 ETL 工具 etl-engine 流批一体数据交换系统 轻量级 跨平台 引擎
产品概述我们不仅仅是数据的搬运工,还是数据搬运过程中加工处理的工厂。我们不仅仅适用关系型数据库中,还适配当下流行的时序数据库、消息中间件、Hadoop生态中,支持多种类型数据库之间的融合查询及流式计算。etlengine的核心思想是为用户快速搭建ETL产品提供解决方案
数据仓库(10)数仓拉链表开发实例
拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。<blockquote维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记
数据仓库(09)数仓缓慢变化维度数据的处理
数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快速的事实表相比,维度变化相对缓慢。阴齿这个就叫做缓慢变化维。 这里介绍的就是这些维度变化的处
数据仓库(08)数仓事实表和维度表技术
所谓的事实表和维度表技术,指的就是如何和构造一张事实表和维度表,是的事实表和维度表,可以涵盖现在目前的需要和方便后续下游数据应用的开发。事实表,就是一个事实的集合。事实来自业务过程的度量,基本上以数量值表示。事实表行对应一个事实,一个事实对应一个物理可以观察的事件,例如,再零售事件中,
个推TechDay直播回顾 | 分享基于Flink的实时数仓搭建秘诀,附课件下载
近日,个推TechDay“治数训练营”系列直播课第二期举办。来自每日互动(个推)的资深数据研发工程师为大家详细解读了实时数仓架构演进,分享了实时数仓的技术选型要点,并结合实战案例详细剖析实时数仓搭建秘诀。课程回顾!图片(https://imghelloworld.ossc
数据仓库(07)数仓规范设计
规范设计在这里取《大数据之路:阿里巴巴大数据实践》中的定义,这里记录一下本人对这一块自己的理解。<blockquote规范定义指以维度建模作为理论基础构建总线矩阵,划分和定义数据域、业务过程、维度、度量原子指标、修饰类型、修饰词、时间<br/周期、派生指标。</blockquote
如何通过 ETL 调度工具 TASKCTL 使用作业插件类型调用 kettle 作业?
TASKCTL中调度KettleJob作业有两种方式:原生kitchen命令(默认已支持).Soap插件方式(需额外安装插件).作业是什么(what)主要属性xml标签:.kjbjob:表示是一个kettleJob作业类型.nam
高达每秒100多个作业吞吐量,这一款IT运维国产神器,杀疯了!
国产神器TASKCTLTASKCTL是专门为批量作业调度自动化打造的一款专业的敏捷调度工具,批量调度自动化技术是大数据时代数据整合后台不可缺少的重要技术。现在数据是整个社会和各企业团体的重要资产,管好数据、用好数据是整个社会的重要命题。想要用好数据,实现企业数字化快速转型,首先就
复杂 ETL 下 JobEngine 阻塞问题排查实录
<blockquote本文作者:zsh,效力于观远计算引擎团队,在不断提高数据系统服务稳定性方面做着一点微小的工作。</blockquote问题背景在我们将Spark版本从3.0.1升级至3.2.1之后,发现某个ETL无法正常运行了,而在升级之前运行都是正常的。
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。