Springboot项目搭配ELK日志平台

Easter79
• 阅读 637

上一篇讲过了elasticsearch和kibana的可视化组合查询,这一篇就来看看大名鼎鼎的ELK日志平台是如何搞定的。

elasticsearch负责数据的存储和检索,kibana提供图形界面便于管理,Logstash是个日志中转站负责给elasticsearch输出信息。

1 安装logstash

这里使用和elasticsearch相同的版本2.3.4,wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz

由于logstash有压缩包,免安装的,下载后直接解压。tar -xzvf logstash-2.3.4.tar.gz

进入logstash目录,我们先来看看logstash的插件集合,bin/logstash-plugin list

Springboot项目搭配ELK日志平台

图没截完,后面还有很多,从名字可以看到有codec、filter、input、output等,这些都是有用的。

等号我们讲到启动时带的config就会用到这些插件。先看一个logstash-codec-json-lines,这个是必须的,如果早期的版本装完logstash后没有这个插件,你就需要额外去下载它。

我们Springboot的项目日志就是以json的格式传给logstash的。

2 配置logstash

OK,别的不管,我们直接运行logstash。

bin/logstash

Springboot项目搭配ELK日志平台

可以看到给的提示,只支持两个命令,logstash agent ,要注意不同的版本命令是不同的,最新的5.5.1就已经没有agent了,使用时需要注意看系统给的提示。

该版本的logstash启动命令是logstash agent -f conf/conf。即在logstash agent -f 后面加上你的配置文件。

该配置文件是不存在的,需要我们自己添加。

mkdir config 创建目录

vi config/log_es.conf 创建配置文件,配置文件名字随便起

input {
  # For detail config for log4j as input,
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4567
    codec => json_lines
  }
}
filter {
  #Only matched data are send to output.
}
output {
  # For detail config for elasticsearch as output,
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
  elasticsearch {
    action => "index"          #The operation on ES
    hosts  => "localhost:9200"   #ElasticSearch host, can be array.
    index  => "applog"         #The index to write data to.
  }
}

这个就是一个简单的配置文件,看input、filter、output,这些都是在plugin list里出现过的,我这里用的tcp,代表日志的来源是以tcp的形式过来的。比较常用的有file,就是读取某个文件,如果你的日志是生成了日志文件,就可以在这里用input file去读取它。还有http、jdbc、kafka、redis等,都有人用,就是把日志丢到kafka中,logstash去获取。

Springboot项目搭配ELK日志平台

filter是过滤器,可以在这里配置过滤哪些日志。

output标签也有很多,代表logstash要把接收到的日志往哪里输出,有stdout输出到控制台、email、csv、elasticsearch等。我们选择把日志输出到ES。看配置文件,设置ES的host为本机,当然你也可以选择远程的ES服务器,可以设置多个ES地址数组;index代表ES上的index,如果没有则创建该index;action为index代表动作,分别有“index”、“delete”、“create”、“update”。

Springboot项目搭配ELK日志平台

你也可以输出到多个地方,譬如既插入ES又输出到控制台

output{  
  elasticsearch{  
    hosts=>["172.132.12.3:9200"]  
    action=>"index"  
    index=>"applog"  
    #document_type=>"%{@type}"  
    document_id=>"ignore"  
    }  
  stdout{  
      codec=>rubydebug  
  }  
}

index也可以动态指定,如果大家还记得上一篇kibana添加index时就是可以添加*匹配的index。

譬如我们可以用

index=>”applog-%{+YYYY,MM.dd}”

OK,设置完配置文件,我们就要启动logstash了。

bin/logstash agent -f config/log_es.conf

启动完成后,就可以在Springboot项目里通过ip:4567端口来输出日志到logstash了,logstash收到的日志就会自动往ES里插入了。

3 logback日志关联logstash

Springboot项目默认logback记录日志,之前已经详细讲过了logback的使用。当然你也可以使用log4j、log4j2,它们同样可以输出到logstash里。

新建Springboot项目,只勾选个web即可,logback和logstash关联需要依赖一个组件

<dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>4.11</version>
        </dependency>

在pom.xml添加这个,然后在GitHub上看看用法 https://github.com/logstash/logstash-logback-encoder

在项目的文档里可以看到各种用法,里面有讲logback通过socket、tcp等方式将日志输出到logstash的。

Springboot项目搭配ELK日志平台

参照文档,我们在项目里新建logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/base.xml" />

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>你的ip地址:4567</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
        <appender-ref ref="CONSOLE" />
    </root>


</configuration>

配置好ip和logstash的配置文件input里你设置的端口。

4 使用kibana查看Springboot日志

上面配置好了logback和logstash的关联,我们就试着输出日志看看。

@RestController
public class IndexController {
    private final Logger logger = LoggerFactory.getLogger(getClass());

    @GetMapping("/index")
    public Object index() {
        for (int i = 0; i < 100; i++) {
            logger.debug("debug" + i);
            logger.info("info" + i);
            logger.warn("warn" + i);
            logger.error("error" + i);
        }

        return "success";
    }
}

启动项目,访问index。

然后看看日志存储情况
Springboot项目搭配ELK日志平台

Springboot项目搭配ELK日志平台

我们可以看到在kibana里和ES中都已经发现了这些日志信息了。

譬如我们做个条件搜索:

Springboot项目搭配ELK日志平台

OK,通过这个简单的例子,我们就可以把Springboot日志输出到ELK日志平台了。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Kubernetes 集群日志管理
Kubernetes开发了一个Elasticsearch附加组件来实现集群的日志管理。这是一个Elasticsearch、Fluentd和Kibana的组合。Elasticsearch是一个搜索引擎,负责存储日志并提供查询接口;Fluentd负责从Kubernetes搜集日志并发送给Elasticsearch;Kibana提供了一个
Stella981 Stella981
2年前
Spring Boot日志集成
!(https://oscimg.oschina.net/oscnet/1bde8e8d00e848be8b84e9d1d44c9e5c.jpg)SpringBoot日志框架SpringBoot支持JavaUtilLogging,Log4j2,Lockback作为日志框架,如果你使用star
Wesley13 Wesley13
2年前
ELK7.4.2安装教程
ELK简介“ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如Elasticsearch等“存储库”中。Kibana
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
2个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
Easter79
Easter79
Lv1
今生可爱与温柔,每一样都不能少。
文章
2.8k
粉丝
5
获赞
1.2k