本文章为原创文章，转载请注明，欢迎评论和改正。一，分析　　之前所用的直接通过HTML中的元素值来爬取一些网页上的数据，但是一些比较敏感的数据，很多正规网站都是通过json数据存储，这些数据通过HTML元素是爬取不到的，所以只能通过json数据的api接口来爬取数据。二，网站处理　　1，打开去哪儿网的网站https://train.qu

一、Kafka概述1.Kafka是一个分布式流媒体平台，它有三个关键功能：(1)发布和订阅记录流，类似于消息队列或企业消息传递系统；(2)以容错的持久方式存储记录流；(3)记录发送时处理流。2.Kafka通常应用的两大类应用(1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道；(2)构建转换或响应数据流的实施

前言基于SpringCloud的全链路灰度蓝绿发布功能，其中一个场景是，基于Header传递的全链路灰度路由，采用配置中心配置路由策略映射在网关或者服务上，支持根据用户自定义Header跟路由策略整合，最终转化为路由Header信息而实现，路由策略传递到全链路服务中。这是一个非常普遍的需求，但如果业务方用了服务之间异步调用的方式，会导致存储在Th

很多的app使用MVC设计模式来将“用户交互”与“数据和逻辑”分开，而model其中一个重要作用就是持久化。下文中设计的Model可能不是一个完美的，扩展性强的model范例，但在我需要重构的app中，这样的设计能够满足我的需要。关于ModelModel层包含了app的数据与逻辑，Model层中的类需要关心的是数据的表现，存储，以及操

概述分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID，并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求，最初Twitter把存储系统从MySQL迁移

Cookie问题：HTTP协议是没有记忆功能的，一次请求结束后，相关数据会被销毁。如果第二次的请求需要使用相同的请求数据怎么办呢？难道是让用户再次请求书写吗?为了解决这个问题，引入了Cookie技术；Cookie技术其实就是浏览器端实现的数据临时存储技术，保存一些必要的数据，当访问某些网页需要这些数据时，浏览器自动将数据加到HTTP请求

本文详细讲解字符编码的相关知识，包括字符编码的发展历程，字符编码的使用，在python中字符编码的应用首先要明确：计算机中的所有数据，不论是文字、图片、视频、还是音频文件，本质上最终都是按照类似01010101的二进制存储的拓展1:什么是编码，解码？1.信息的两种状态：1）明文状态：类似显示器上能看到的

最近一直忙着各种设计和文档，终于有时间来更新一点儿关于kafka的东西。之前有一篇文章讲述的是kafkaProducer端的程序，也就是日志的生产者，这部分比较容易理解，业务系统将运行日志或者业务日志发送到broker中，由broker代为存储。那讲的是如何收集日志，今天要写的是如何获取日志，然后再做相关的处理。之前写过kafka是讲日志按照topic

之前介绍了一些Web层的例子，包括构建RESTfulAPI、使用Thymeleaf模板引擎渲染Web视图，但是这些内容还不足以构建一个动态的应用。通常我们做App也好，做Web应用也好，都需要内容，而内容通常存储于各种类型的数据库，服务端在接收到访问请求之后需要访问数据库获取并处理成展现给用户使用的数据形式。本文介绍在SpringBoot基础下配置数

在Java虚拟机内存区域中，除了程序计数器外，其他几个内存区域都可能会发生OutOfMemoryError，这次通过一些代码来验证虚拟机各个内存区域存储的内容。在实际工作中遇到内存溢出异常时，需要做到能根据异常信息快速判断是哪个内存区域的溢出，知道什么样的代码会导致这些区域内存溢出，并且知道出现内存溢出后如何处理。Java堆溢出Jav