HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Nebula 架构剖析系列(一)图数据库的存储设计

摘要在讨论某个数据库时,存储(Storage)和计算(QueryEngine)通常是讨论的热点,也是爱好者们了解某个数据库不可或缺的部分。每个数据库都有其独有的存储、计算方式,今天就和图图来学习下图数据库NebulaGraph的存储部分。Nebula的Storage包含两个部分,一是meta相关的存储,我们

Message Queue消息队列基本原理

消息队列基本原理📦本文已归档到:「blog」消息队列(MessageQueue,简称MQ)技术是分布式应用间交换信息的一种技术。消息队列主要解决应用耦合,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。注意:_为了简便,下文中除了文章标

MapReduce之Shuffle,自定义对象,排序已经Combiner

1\.Shuffle:MapReduce的计算模型主要分为三个阶段,Map,shuffle,Reduce。Map负责数据的过滤,将文件中的数据转化为键值对,Reduce负责合并将具有相同的键的值进行处理合并然后输出到HDFS。为了让Reduce可以并行处理map的结果,必须对Map的输出进行一定的排序和分割,然后交个Red

Kafka高可用,高吞吐量低延迟的高并发的特性背后实现机制

1概述Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式消息系统,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。2消息系统介绍一个消息系统负责将数据从一个应用传递到另外一个应用,应用只需关注于数据,无需关注数据在两个或

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。