ELK安装及使用说明

一、说明

ELK是当下流行的开源日志分析系统。ELK是Elasticsearch、Logstash、Kibana三个软件的统称。
在ELK日志监控系统中,Logstash负责读取和结构化各类日志+发送给Elasticsearch,Elasticsearch负责存储Logstash发送过来的日志+响应Kibana的查询,Kibana负责从Elasticsearch查询内容+在web界面中向用户展示。

二、ELK安装

三个软件可以去官网下载,下载地址:https://www.elastic.co/downloads
因为是国外网站,下载速度较慢。
本文的Elasticsearch、Logstash、Kibana是7.4.2版本。
es、logstash的运行依赖JDK,需要安装JDK1.8或以上版本。

2.1 安装jdk

下载地址:
https://www.oracle.com/java/t...
安装配置说明此处不赘诉。

2.2 安装Elasticsearch

tar -zxf elasticsearch-7.4.2-linux-x86_64.tar.gz
cd elasticsearch-7.4.2-linux-x86_64
##修改配置文件
vim config/elasticsearch.yml
##在配置文件末尾添加:
xpack.ml.enabled: false
network.host: 192.168.101.21
http.port: 9200
node.name: elktest
cluster.initial_master_nodes: ["elktest"]

#memory
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

http.cors.enabled: true
http.cors.allow-origin: "*" ##这两句是为了后面安装head插件使用的。

##修改Linux最大打开文件数
vim /etc/security/limits.conf
##在末尾添加
* soft nofile 655350
* hard nofile 655350
[root@elkserver ~]# ulimit -n
655350
##修改sysctl.conf文件
[root@elk ~]# vim /etc/sysctl.conf
vm.max_map_count=655350
[root@elk ~]# sysctl -p

然后创建普通用户,启动es,es只能使用普通用户启动。
修改es目录权限
chown -R elk:elk /usr/local/elk/elasticsearch-7.4.2
# 以后台方式启动
bin/elasticsearch -d -p pid.log
# 等启动完成后,稍等一下再执行下一句
curl http://localhost:9200/
22.png
出现以上json信息表示安装成功。
添加启停脚本,方便服务启停。
# 启动脚本
echo './bin/elasticsearch -d -p pid.log' > start_es.sh
chmod +x start_es.sh
# 停止脚本,直接用kill -9杀除进程
echo 'kill -9 `cat ./pid.log`' > start_stop.sh
chmod +x start_stop.sh

2.3 安装Logstash

tar -zxf logstash-7.4.2.tar.gz
cd logstash-7.4.2
##创建配置文件file_es.conf,输入以下内容保存。
##接下来是重点,也是ELK的难点吧,就是将日志进行分析,使用正则匹配过滤日志中想要的内容。
image.png
注:需要注意,导入的文件也要有访问权限,如果文件无权限访问,那么自然logstash也无法读取导入。

添加启停脚本,方便服务启停。
# 启动脚本,配置文件名改成自己的
echo 'nohup ./bin/logstash -f ./config/file_es.conf &' > start_logstash.sh
chmod +x start_logstash.sh
# 停止脚本
echo 'kill -9 `ps -ef |grep logstash |grep -v grep| awk "{print $2}"|head -n 1`' > stop_logstash.sh
chmod +x stop_logstash.sh

2.4 安装Kibana

tar -zxf kibana-7.4.2-linux-x86_64.tar.gz
cd kibana-7.4.2-linux-x86_64
##修改配置文件
vim config/kibana.yml
server.host: "192.168.101.21" ## 本机地址
elasticsearch.hosts: ["http://192.168.101.21:9200"] ##es地址
添加启停脚本,方便服务启停。
# 启动脚本
echo 'nohup ./bin/kibana &' > start_kibana.sh
chmod +x start_kibana.sh
# 停止脚本,直接用kill -9杀除进程
echo 'kill -9 `ps -ef | grep ./node/bin | grep -v grep | awk "{print $2}" | head -n 1`' > stop_kibana.sh
chmod +x stop_kibana.sh
执行脚本./start_kibana.sh,启动服务后,默认监听5601端口,访问http://ip:5601即可。如果是安装在虚拟机中且5601端口不通的话,将虚拟机防火墙关闭。
界面如下图所示:
image.png

评论

暂无评论