HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

如何评估一项技术是否值得长期投入

“每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。”笔者从2008年开始工作到现在也有12个年头了,一路走来都在和数据打交道,做过很多大数据底层框架内核的开发(Hadoop,Pig,Hive,Tez,Spark),也做过多年上层数据计算框架(Livy,Zep

Flink 消息聚合处理方案

微博机器学习平台使用Flink实时处理用户行为日志和生成标签,并且在生成标签后写入存储系统。为了降低存储系统的IO负载,有批量写入的需求,同时对数据延迟也需要进行一定的控制,因此需要一种有效的消息聚合处理方案。在本篇文章中我们将详细介绍Flink中对消息进行聚合处理的方案,描述不同方案

直播预告 | 企业CICD规模化落地 (4/28)

【直播主题】企业CICD规模化落地【直播时间】2020年4月28日16:00~17:00【直播简介】持续交付有很多的实践,比如自动化测试,交付流水线等。对于一个小团队来说,使用开源工具集合和一些简单的SaaS服务(比如Github)可以很好的组装起自己的CICD流程。但在大型组织中就需

阿里云心选-T+财务软件助力线下实体的创富转型之道

一场疫情让数字化重回大众视野。数字化意味着企业经营效率提升和风险抵御能力的加强,是后疫情时代企业不得不考虑的问题。传统加工企业多以手工统计报表、手工出入库单据作为核算依据,这种传统核算方式存在极大的风险漏洞,比如出入库统计员核算有误差、采购物料无法精确数量等等,都会造成一定的经济损失,这都是每一个传

Iceberg 在基于 Flink 的流式数据入库场景中的应用

本文以流式数据入库的场景为基础,介绍引入Iceberg作为落地格式和嵌入Flinksink的收益,并分析了当前可实现的框架及要点。应用场景流式数据入库,是大数据和数据湖的典型应用场景。上游的流式数据,如日志,或增量修改,通过数据总线,经过必要的处理后,汇聚并存储于数据湖,

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。