文章
Windows下Kafka环境搭建
前言:周末空闲时间无意找到了一套个性化推荐的源码,整体项目运用了SSH,HDFS,Flume,Hive,Kafka,Spark,Scala等。运行时,本来通过spark计算业务埋点数据时,却发现本地没有Kafka。因为我一直也没使用过Kafka,所以也作为新人,浅谈以下Kafka的环境安
用扩展的方式在 PHP 中使用 Kafka
前言:由于之前在PHP中使用Kafka是通过composer包的方式,由于 nmred/kafkaphp很久没有维护,并且网上相关问题的文章也比较少。所以我这次换成PHP扩展 RdKafka继续使用,主要介绍扩展安装和这种方式的基本操作。 安装:
Kafka实时数据即席查询应用与实践
<blockquote作者:vivo互联网搜索团队DengJie</blockquoteKafka中的实时数据是以Topic的概念进行分类存储,而Topic的数据是有一定时效性的,比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时,如果没有对实时数据进行历史归档
Helm3-安装Kakfa
前言本文介绍如何在k8s集群中使用helm来创建kafka,供大家参考学习。准备阿里云K8S集群安装helm安装Kafka我们首先添加一下helm库,并且搜索到kafka<pre<code$helmrepoaddbitna
如何借助Kafka持久化存储K8S事件数据?
大家应该对KubernetesEvents并不陌生,特别是当你使用kubectldescribe命令或EventAPI资源来了解集群中的故障时。 <pre<code$kubectlgetevents15mWarningFailedCrea
Kafka原理
1、生产者生产者发送消息流程在消息发送的过程中,涉及到了两个线程:main线程和Sender线程。在main线程中创建了一个双端队列RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从Reco
Kafka系列之消息长度超过限制问题
Kafka系列之消息过长问题的处理kafka涉及的技术问题,计划用多篇文章来记录,这一篇先记录下工作中遇到的比较严重的问题和解决的方案。消息过长的问题在生产者和消费者端都有可能发生:生产者:kafka对发送的消息长度有限制,不能发送任意长度的数据,默认长度设置的是1M,超过1M就不
mq的积压监控
这个逻辑是从一个视频上看来的,b站的某个视频,视频里是小米公司的大拿讲设计方面的方案,提到了用refreshTime来作为度量,判断mq积压的程度.refreshTime是一个时间差,用消费时的当前时间,减去mq生成时的创建时间,视频上用的好像叫refresh,现在想想,用ttl更合
Docker-compse 关键字解释
dockercomposeimages从指定的镜像中启动容器,可以是存储仓库、标签以及镜像ID。command执行命令,会覆盖容器启动后默认执行的命令(dokcerfile中CMD指定的命令)containe
kafka源码解析(3)消费者源码
!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/73908f2faccd856b9f68a29dc369a7a1.png)初始化!image.png(https://imghellow
已加载文章中没有匹配内容,试试其他关键词或清空搜索。