1、前言　　本文是在《如何计算实时热门商品》(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwuchong.me%2Fblog%2F2018%2F11%2F07%2Fuseflinkcalculatehotitems%2F)\1\一文上做的扩展，

概述记录自己在工作中将生产的数据按月保存在ES中（通过logstash采集kafka数据到ES），由于生产环境数据量比较庞大（一天的日志量大概在2500万条左右），为了后期减轻服务器压力，方便我们维护，所以需要对我们的日志进行处理，按月建立不同的ES索引库，能够查询最近6个月的日志，关闭前6个月不用的日志。创建模板如果用户每次新建

问题导读1.本项目包含哪些源码？2.本文使用了哪些框架？3.KSQLUDF如何实现？!(https://oscimg.oschina.net/oscnet/c646e6d02ae142a0add4301fbcbfe6fe.png)文中链接查看，可点击：阅读原文物联网大数据机

本次发布增强了Saga在spring下的支持，使用kafka提供重试以及重试失败后放入丢弃队列里Saga是用来在微服务中的长事务管理，具备ACID中的ACD，不具备I，隔离性。在一定业务条件下，可以使用Saga非常简单和方便的管理微服务事务。同理，也可以用于管理多库事务Saga要求微服务提供回滚操作，然后如果需要回滚，有Saga编排调度各个微服务对应

!(https://oscimg.oschina.net/oscnet/80ecdd44ebb05e4051d636f8bcffac598dc.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT

\\SkyWalking\\是一个开源\\APM\\系统，包括针对\\CloudNative\\体系结构中的分布式系统的监视、跟踪、诊断功能。核心功能如下：\服务、服务实例、端点指标分析\根本原因分析，在运行时分析代码\服务拓扑图分析\服务、服务实例和端点依赖性分析\检测到慢

1、前言在IM这种讲究高并发、高消息吞吐的互联网场景下，MQ消息中间件是个很重要的基础设施，它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色，当然MQ消息中间件的作用远不止于此，它的价值不仅仅存在于技术上，更重要的是改变了以往同步处理消息的思路（比如进行IM消息历史存储时，传统的信息系统作法可能是收到一条消息就马上同步存

Kafka中的消息是以主题为基本单位进行归类的，各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区，分区的数量可以在主题创建的时候指定，也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中，分区中的每条消息都会被分配一个唯一的序列号，也就是通常所说的偏移量（offset），具有4个分区的主题的逻辑结构见下图。!(http

Introduction有很多人问过我这么一类问题：\\RabbitMQ如何确保消息可靠？\\很多时候，笔者的回答都是：说来话长的事情何来长话短说。的确，要确保消息可靠不只是单单几句就能够叙述明白的，包括Kafka也是如此。可靠并不是一个绝对的概念，曾经有人也留言说过类似全部磁盘损毁也会导致消息丢失，笔者戏答：还有机房被炸了也会导

目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。