Logstash 参考指南(配置Logstash)

大刀
• 阅读 3853

配置Logstash

要配置Logstash,你需要创建一个配置文件,指定要使用的插件和每个插件的设置,你可以在配置中引用事件字段,并在事件满足某些条件时使用条件来处理它们,运行logstash时,使用-f指定配置文件。

让我们一步一步地创建一个简单的配置文件并使用它来运行Logstash,创建一个名为“logstash-simple.conf”的文件,并将其保存到Logstash的同一个目录中。

input { stdin { } }
output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

然后,运行logstash并使用-f标志指定配置文件。

bin/logstash -f logstash-simple.conf

果不其然!Logstash读取指定的配置文件,并向Elasticsearch和stdout输出,在我们继续一些更复杂的例子之前,让我们仔细看看配置文件中的内容。

Logstash中的X-Pack设置

elasticsearch.ymlkibana.ymllogstash.yml配置文件中为X-Pack特性配置设置。

X-Pack特性 Elasticsearch设置 Kibana设置 Logstash设置
APM UI No Yes No
Development Tools No Yes No
Graph No Yes No
Machine learning Yes Yes No
Management No No Yes
Monitoring Yes Yes Yes
Reporting No Yes No
Security Yes Yes No
Security.Auditing Yes No No
Watcher Yes No No

elasticsearch.yml文件中还有X-Pack许可证设置。

有关更多的Logstash配置设置,请参阅Logstash.yml

点赞
收藏
评论区
推荐文章
Stella981 Stella981
4年前
Logstash 解析Json字符串,删除json嵌套字段
一、场景:此文以一个简单的json字符串文件为例,描述如何用logstash解析嵌套的json,并删除其中的某些字段我们在linux中test.json的内容如下:{"timestamp":"20180802T14:42:50.0844670800","flow_id":364959073190719,"in_iface":"e
Easter79 Easter79
4年前
Springboot项目搭配ELK日志平台
上一篇讲过了elasticsearch和kibana的可视化组合查询,这一篇就来看看大名鼎鼎的ELK日志平台是如何搞定的。elasticsearch负责数据的存储和检索,kibana提供图形界面便于管理,Logstash是个日志中转站负责给elasticsearch输出信息。1安装logstash这里使用和elasti
Wesley13 Wesley13
4年前
ELK+Kafka部署指南 (二)
四、安装logstash安装启动步骤1、解压安装包、修改配置解压安装包:tarzxvflogstash7.0.0.tar.gz进入到解压后的目录:cdlogstash7.0.0进入到config文件夹:cdconfig由于logstash的配置文件在启动的时候指定,编辑创建配置文件:v
Stella981 Stella981
4年前
Logstash
 Logstash数据处理工具具有实时渠道能力的数据收集引擎,包含输入、过滤、输出模块,一般在过滤模块中做日志格式化的解析工作日志信息logstshjson形式mysql\\hbase\\ESlogstsh(select\fromuser)ESlogstsh架
Wesley13 Wesley13
4年前
ELK7.4.2安装教程
ELK简介“ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如Elasticsearch等“存储库”中。Kibana
Wesley13 Wesley13
4年前
EFK实战二
前言在EFK基础架构中,我们需要在客户端部署Filebeat,通过Filebeat将日志收集并传到LogStash中。在LogStash中对日志进行解析后再将日志传输到ElasticSearch中,最后通过Kibana查看日志。上文已经搭建好了EFK的基础环境,本文我们通过真实案例打通三者之间的数据传输以及解决EFK在使用过程中的一些常见问题。
Stella981 Stella981
4年前
Logstash提取ES中的堆栈后合并输出到邮件或者控制台
核心流程1.利用logstash查询Elasticsearch.2.再利用match,mutate提取必要信息.3.之后利用ruby执行本地shell或者命令获取输出返回值4.利用aggregate将多个event合并为一个5.最后发送邮件或者输出注意,es查询到多条数据在logstash中算是多个event.
Stella981 Stella981
4年前
Logstash 配置多个输出源的问题
!(https://oscimg.oschina.net/oscnet/b0b8abb9dc8d36e5071f5f9d9d6a45ae17b.jpg)一个配置文件里面同时配置了es和kafka作为输出源,出现es崩溃后,kafka接收不到消息的问题。目前排查以及搜索资料后,发现虽然logstash配置了多个输出源,但是使用的是一个管道。目前
Stella981 Stella981
4年前
Grafana分析Nginx日志
按日期对ES的index进行分割:logstash配置:input{file{path"/home/hottopic/logs/trendshottingapi/metric/"type"trendshottingapimetric"start_p
Stella981 Stella981
4年前
Logstash
读input{file{path"文件全路径"type"任意名字最好有意义"自定义日志区分类型start_position"beginning"从文件开始处读写}}过滤filter{grok{
Stella981 Stella981
4年前
LogStash6.3——新Java执行引擎概览与简单评测
LogStash新的Java执行引擎已经进入了待发布阶段了。他的主要特性有:更少的内存使用更高的性能更少的启动配置信息更快的配置重载时间现在可以在LogStash6.3.0版本使用experimentaljavaexecution来尝鲜。下面是性能测试的对比,来看看用JRuby执行器和Java执
大刀
大刀
Lv1
以前沧海难为水,除却巫山不是云。取次花丛懒回顾,半缘修道半缘君。
文章
2
粉丝
0
获赞
0