ELK安装及使用说明
文章目录
一、说明
ELK是当下流行的开源日志分析系统。ELK是Elasticsearch、Logstash、Kibana三个软件的统称。
在ELK日志监控系统中,Logstash负责读取和结构化各类日志+发送给Elasticsearch,Elasticsearch负责存储Logstash发送过来的日志+响应Kibana的查询,Kibana负责从Elasticsearch查询内容+在web界面中向用户展示。
二、ELK安装
三个软件可以去官网下载,下载地址:https://www.elastic.co/downloads
因为是国外网站,下载速度较慢。
本文的Elasticsearch、Logstash、Kibana是7.4.2版本。
es、logstash的运行依赖JDK,需要安装JDK1.8或以上版本。
2.1 安装jdk
下载地址:
https://www.oracle.com/java/t...
安装配置说明此处不赘诉。
2.2 安装Elasticsearch
tar -zxf elasticsearch-7.4.2-linux-x86_64.tar.gz
cd elasticsearch-7.4.2-linux-x86_64
##修改配置文件
vim config/elasticsearch.yml
##在配置文件末尾添加:
xpack.ml.enabled: false
network.host: 192.168.101.21
http.port: 9200
node.name: elktest
cluster.initial_master_nodes: ["elktest"]
#memory
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
http.cors.enabled: true
http.cors.allow-origin: "*" ##这两句是为了后面安装head插件使用的。
##修改Linux最大打开文件数
vim /etc/security/limits.conf
##在末尾添加
* soft nofile 655350
* hard nofile 655350
[root@elkserver ~]# ulimit -n
655350
##修改sysctl.conf文件
[root@elk ~]# vim /etc/sysctl.conf
vm.max_map_count=655350
[root@elk ~]# sysctl -p
然后创建普通用户,启动es,es只能使用普通用户启动。
修改es目录权限
chown -R elk:elk /usr/local/elk/elasticsearch-7.4.2
# 以后台方式启动
bin/elasticsearch -d -p pid.log
# 等启动完成后,稍等一下再执行下一句
curl http://localhost:9200/
出现以上json信息表示安装成功。
添加启停脚本,方便服务启停。
# 启动脚本
echo './bin/elasticsearch -d -p pid.log' > start_es.sh
chmod +x start_es.sh
# 停止脚本,直接用kill -9杀除进程
echo 'kill -9 `cat ./pid.log`' > start_stop.sh
chmod +x start_stop.sh
2.3 安装Logstash
tar -zxf logstash-7.4.2.tar.gz
cd logstash-7.4.2
##创建配置文件file_es.conf,输入以下内容保存。
##接下来是重点,也是ELK的难点吧,就是将日志进行分析,使用正则匹配过滤日志中想要的内容。
注:需要注意,导入的文件也要有访问权限,如果文件无权限访问,那么自然logstash也无法读取导入。
添加启停脚本,方便服务启停。
# 启动脚本,配置文件名改成自己的
echo 'nohup ./bin/logstash -f ./config/file_es.conf &' > start_logstash.sh
chmod +x start_logstash.sh
# 停止脚本
echo 'kill -9 `ps -ef |grep logstash |grep -v grep| awk "{print $2}"|head -n 1`' > stop_logstash.sh
chmod +x stop_logstash.sh
2.4 安装Kibana
tar -zxf kibana-7.4.2-linux-x86_64.tar.gz
cd kibana-7.4.2-linux-x86_64
##修改配置文件
vim config/kibana.yml
server.host: "192.168.101.21" ## 本机地址
elasticsearch.hosts: ["http://192.168.101.21:9200"] ##es地址
添加启停脚本,方便服务启停。
# 启动脚本
echo 'nohup ./bin/kibana &' > start_kibana.sh
chmod +x start_kibana.sh
# 停止脚本,直接用kill -9杀除进程
echo 'kill -9 `ps -ef | grep ./node/bin | grep -v grep | awk "{print $2}" | head -n 1`' > stop_kibana.sh
chmod +x stop_kibana.sh
执行脚本./start_kibana.sh,启动服务后,默认监听5601端口,访问http://ip:5601即可。如果是安装在虚拟机中且5601端口不通的话,将虚拟机防火墙关闭。
界面如下图所示:
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论