HelloWorld 开发者社区

数据库与数据工程

直播预告lApache Hudi 中文社区技术交流会第六弹

随着数据湖架构的日益成熟,如何对数据湖中的数据进行高效极速的分析,逐渐成为了企业数据湖平台成败的关键。ApacheHudi(以下简称Hudi)是新一代流式数据湖平台,支持插入、更新、删除以及增量数据处理,可助力构建高效的企业级数据湖,已被全球多个大型企业在实际生产环境中应用。StarRock

你可见过如此细致的延时任务详解

概述延时任务相信大家都不陌生,在现实的业务中应用场景可以说是比比皆是。例如订单下单15分钟未支付直接取消,外卖超时自动赔付等等。这些情况下,我们该怎么设计我们的服务的实现呢?笨一点的方法自然是定时任务去数据库进行轮询。但是当业务量较大,事件处理比较费时的时候,我们的系统和数据库往往会

hive on spark

简述hiveonspark就是使用hive记录元数据,以及解析sql。使用spark的rdd真正执行计算任务。hdfs负责存储spark负责执行hive负责数据管理版本apachehive3.1.3bin.tarspark3.3.1binhadoop3s

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。