HelloWorld 开发者社区
数据库与数据工程
「案例分享」研发效能提升之第一性原理
作者:樊思国一、引言被埃隆·马斯克多次提及的第一性原理Firstprinciplethinking,是计算物理学领域的一个专业术语,在商业领域依然具有鲜活的生命力。读过《硅谷钢铁侠》这本书的知道,正是因为应用了第一性原理对问题进行分析,才使得马斯克在跨航天、汽车、能源和软件领域
直播预告lApache Hudi 中文社区技术交流会第六弹
随着数据湖架构的日益成熟,如何对数据湖中的数据进行高效极速的分析,逐渐成为了企业数据湖平台成败的关键。ApacheHudi(以下简称Hudi)是新一代流式数据湖平台,支持插入、更新、删除以及增量数据处理,可助力构建高效的企业级数据湖,已被全球多个大型企业在实际生产环境中应用。StarRock
2023 年十大战略技术趋势中哪一项最需要 HTAP ?
前几天,Gartner发布了企业机构在2023年需要探索的十大战略技术趋势。Gartner杰出研究副总裁FrancesKaramouzis表示:“为了在经济动荡时期增加企业机构的盈利,首席信息官和IT高管必须在继续加快数字化转型的同时,将目光从节约成本转向新的卓越运营方式。Gartne
异常值检测!最佳统计方法实践(代码实现)!⛵
!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/89622169d30352b06067f52ef0bb2891.png)<blockquote数据集中的异常值,对于数据分布、建模等都有影响。本文讲解两大类异常值的检测
你可见过如此细致的延时任务详解
概述延时任务相信大家都不陌生,在现实的业务中应用场景可以说是比比皆是。例如订单下单15分钟未支付直接取消,外卖超时自动赔付等等。这些情况下,我们该怎么设计我们的服务的实现呢?笨一点的方法自然是定时任务去数据库进行轮询。但是当业务量较大,事件处理比较费时的时候,我们的系统和数据库往往会
2022,「倾城之链」运营第 6 年感记
转眼间,距离「倾城之链(https://link.segmentfault.com/?encbcnJOn652X6nleytss%2B8hg%3D%3D.GBMZoyV3uwus08nyC6cUYqrhgxY7rV%2B%2BMHeApPV1eiEiZyp8A%2BS1tZAp%2BSpZ5h
elasticsearch bucket 之rare terms聚合
1、背景我们知道当我们使用<codeterms</code聚合时,当修改默认顺序为<code_countasc</code时,统计的结果是不准备的,而且官方也不推荐我们这样做,而是推荐使用<coderareterms</code聚合。<coderareterms</
PostgreSQL 15发布 HashData贡献关键力量
开源数据库PostgreSQL全球开发组近日发布了PostgreSQL15,该最新版本强化了数据库操作性能,并进一步改进了包括排序等操作在内的本地和分布式部署的工作负载。PostgreSQL15版本还添加了流行的MERGE命令、启用zstd和LZ4压缩支持,以及更多用于观察、调
【深入浅出 Yarn 架构与实现】4-1 ResourceManager 功能概述
前面几篇文章对Yarn基本架构、程序基础库、应用设计方法等进行了介绍。之后几篇将开始对Yarn核心组件进行剖析。ResourceManager(RM)是Yarn的核心管理服务,负责集群管理、任务调度、状态机管理等,本篇将对RM总体架构进行介绍。一、RM基本职能主要
hive on spark
简述hiveonspark就是使用hive记录元数据,以及解析sql。使用spark的rdd真正执行计算任务。hdfs负责存储spark负责执行hive负责数据管理版本apachehive3.1.3bin.tarspark3.3.1binhadoop3s
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。