HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

kafka 入门详解

KafkaKafka核心概念什么是KafkaKafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规

Kafka 日志存储

在进行详解之前,我想先声明一下,本次我们进行讲解说明的是Kafka消息存储的信息文件内容,不是所谓的Kafka服务器运行产生的日志文件,这一点希望大家清楚。Kafka消息是以主题为单位进行归类,各个主题之间是彼此独立的,互不影响。每个主题又可以分为一个或多个分区。每个分区各自存在一个记

Fabric Kafka入门

HyperledgerFabric推荐Kafka用于生产环境。Kafka是一个分布式、具有水平伸缩能力、崩溃容错能力的日志系统。在HyperledgerFabric区块链中可以有多个Kafka节点,使用zookeeper进行同步管理。本文将介绍Kfaka的基本工作原理,以及在Hyperledge

EFK接入kafka消息队列

1前言在笔者最开始维护的日志服务中,日质量较小,没有接入kafka。随着业务规模扩增,日质量不断增长,接入到日志服务的产品线不断增多,遇到流量高峰,写入到es的性能就会降低,cpu打满,随时都有集群宕机的风险。因此,接入消息队列,进行削峰填谷就迫在眉睫。本文主要介绍在EFK的基础上如何

Burrow 使用记录

一、Burrow介绍Burrow是linkedin开源的一个监控ApacheKafka的工具,burrow可以将消费者滞后检查作为一项服务来对外提供。它监视所有消费者的承诺偏移量,并根据需要计算消费者的状态,提供HTTPendpoint接口来获取消费者状态,能够监控Cons

使用多线程增加kafka消费能力

<blockquote前提:本例适合那些没有顺序要求的消息主题。</blockquotekafka通过一系列优化,写入和读取速度能够达到数万条/秒。通过增加分区数量,能够通过部署多个消费者增加并行消费能力。但还是有很多情况下,某些业务的执行速度实在是太慢,这个时候我们就要用到多线程去消费,提

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。