Elasticsearch 7.6.2安装-RPM方式

Johnny21 等级 432 0 0

Elasticsearch 7.6.2安装-RPM方式

Elasticsearch


安装准备

服务器准备

为搭建ElasticSearch集群,准备了三台服务器,主机IP分别为:

服务器IP 系统版本
192.168.1.107 Centos6.5
192.168.1.108 Centos6.5
192.168.1.109 Centos6.5

调整系统参数

内核参数调整



1.  `vim /etc/sysctl.conf`
2.  `# 增加下面的内容`
3.  `fs.file-max = 65536`
4.  `vm.max_map_count = 262144`
5.  `# 执行命令`
6.  `sysctl -p`

资源参数调整



1.  `vim /etc/security/limits.conf`
2.  `# 修改`
3.  `* soft nofile 65536`
4.  `* hard nofile 65536`
5.  `* soft nproc 4096`
6.  `* hard nproc 4096`
7.  `elasticsearch soft memlock unlimited`
8.  `elasticsearch hard memlock unlimited`

调整线程数



1.  `vim /etc/security/limits.d/90-nproc.conf`
2.  `找到如下内容:`
3.  `* soft nproc 1024`
4.  `#修改为`
5.  `* soft nproc 4096`

ES安装及配置

导入Elasticsearch PGP密钥

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 

配置yum

vim /etc/yum.repos.d/elasticsearch.repo 

加入以下信息

[elasticsearch]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md 

安装

# 展示所有版本
sudo yum --showduplicates list elasticsearch
# 安装指定版本
sudo yum install elasticsearch-7.6.2-1 

配置开机启动

sudo chkconfig --add elasticsearch 

配置

JAVA_HOME

# 编辑配置文件
vim /etc/sysconfig/elasticsearch

# 修改JAVA_HOME的值
JAVA_HOME=/opt/jdk1.8.0_181/ 

elasticsearch.yml

vim /etc/elasticsearch/elasticsearch.yml 


1.  `# 集群名称,各个节点的值必须一致`
2.  `cluster.name: elasticsearch_production`
3.  `# 节点名称,区分节点,各个节点的值不能一致`
4.  `node.name: node-1`

6.  `# 数据文件路径,需要配置datanode所有数据磁盘路径`
7.  `path.data:` 
8.   `- /data/dfs/dfs00/dfs/elasticsearch`
9.   `- /data/dfs/dfs01/dfs/elasticsearch`
10.   `- /data/dfs/dfs02/dfs/elasticsearch`

12.  `# 日志文件路径`
13.  `path.logs: /var/log/elasticsearch`

15.  `# 设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低,所以要保证它不swap,可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值,并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存,Linux下可以通过ulimit -l unlimited命令`
16.  `bootstrap.memory_lock: true`
17.  `# 因为Centos6不支持SecComp,而ES6.1.2默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动`
18.  `bootstrap.system_call_filter: false`
19.  `# 本机IP`
20.  `network.host: 192.168.1.107`

22.  `# 集群种子节点`
23.  `discovery.seed_hosts:`
24.   `- 192.168.1.107:9300`
25.   `- 192.168.1.108:9300`
26.   `- 192.168.1.109:9300` 
27.  `# 集群初始主节点,需要填写node.name中的值`
28.  `cluster.initial_master_nodes:` 
29.   `- node-1`
30.   `- node-2`
31.   `- node-3`

33.  `# 存在至少2个节点(数据节点或者 master 节点)才进行数据恢复`
34.  `gateway.recover_after_nodes: 2`
35.  `# 等待10分钟,或者3个节点上线后,才进行数据恢复,这取决于哪个条件先达到`
36.  `gateway.expected_nodes: 3`
37.  `gateway.recover_after_time: 10m`

39.  `search.max_buckets: 200000`
40.  `action.destructive_requires_name: true`

jvm.options

vim /etc/elasticsearch/jvm.options
# 调整内存大小根据系统资源而定,最好不要超过总资源一半
-Xms16g
-Xmx16g 

启动

sudo -i service elasticsearch start         
# 查看节点状态
curl -XGET '192.168.1.107:9200/_cat/nodes?v'
# 查看集群状态
curl -XGET '192.168.1.107:9200/_cat/health?v' 

Kibana安装

Kibana安装在1.109上面

导入Elasticsearch PGP密钥

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 

配置yum

vim /etc/yum.repos.d/kibana.repo 

加入以下信息

[kibana]
name=Kibana repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md 

安装

# 展示所有版本
sudo yum --showduplicates list kibana  --enablerepo=kibana kibana
# 安装指定版本
sudo yum install kibana-7.6.2-1  --enablerepo=kibana kibana 

配置开机启动

sudo chkconfig --add kibana 

修改配置

vim /etc/kibana/kibana.yml 


1.  `# 本机IP`
2.  `server.host: "192.168.1.109"`
3.  `# 访问es的地址`
4.  `elasticsearch.hosts: ["http://192.168.1.107:9200","http://192.168.1.108:9200","http://192.168.1.109:9200"]`

启动

sudo -i service kibana start 

访问http://192.168.1.109:5601/

Logstash安装

导入Elasticsearch PGP密钥

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 

配置yum

vim /etc/yum.repos.d/logstash.repo 

加入以下信息

[logstash]
name=logstash repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md 

安装

mv /usr/bin/java /usr/bin/java7
ln -s $JAVA_HOME/bin/java /usr/bin/java

sudo yum --showduplicates list logstash
sudo yum install logstash-7.6.2-1 

修改配置

vim /etc/logstash/logstash.yml 


1.  `# 配置热加载`
2.  `config.reload.automatic: true`

4.  `# 开启持久化队列`
5.  `queue.type: persisted`
6.  `queue.max_bytes: 8gb`

管道配置

在/etc/logstash/conf.d下新建 xxx.conf 编写管道处理逻辑

启动

nohup /usr/share/logstash/bin/logstash --path.settings /etc/logstash >/dev/null 2>&1 & 

Filebeat安装

导入Elasticsearch PGP密钥

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 

配置yum

vim /etc/yum.repos.d/filebeat.repo 

加入以下信息

[filebeat]
name=filebeat repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md 

安装

sudo yum install filebeat-7.6.2-1
sudo chkconfig --add filebeat 

修改配置

vim /etc/filebeat/filebeat.yml 


1.  `filebeat.inputs:`

3.   `# Each - is an input. Most options can be set at the input level, so`
4.   `# you can use different inputs for various configurations.`
5.   `# Below are the input specific configurations.`

7.   `- type: log`

9.   `# Change to true to enable this input configuration.`
10.   `enabled: true`

12.   `# Paths that should be crawled and fetched. Glob based paths.`
13.   `paths:`
14.   `- /opt/web_app/openservice/elk/elk*.log`
15.   `#- c:\programdata\elasticsearch\logs\*`
16.   `tags: ["log_api"]`

18.   `fields:`
19.   `log_topic: log_api`

22.   `-------------------------- Kafka output ------------------------------`
23.  `output.kafka:`
24.   `# initial brokers for reading cluster metadata`
25.   `hosts: ["kafka01.bitnei.cn:9092", "kafka02.bitnei.cn:9092", "kafka03.bitnei.cn:9092"]`

27.   `# message topic selection + partitioning`
28.   `topic: '%{[fields.log_topic]}'`
29.   `#key: '%{[interfaceName]}'`

31.   `required_acks: -1`
32.   `compression: gzip`
33.   `# (bytes) This value should be equal to or less than the broker’s message.max.bytes.`
34.   `max_message_bytes: 10000000`

启动

service filebeat start 
收藏
评论区

相关推荐

带你入门前端工程:微前端
什么是微服务?先看看维基百科(https://zh.wikipedia.org/wiki/%E5%BE%AE%E6%9C%8D%E5%8B%99)的定义: 微服务(英语:Microservices)是一种软件架构风格,它是以专注于单一责任与功能的小型功能区块 (Small Building Blocks) 为基础,利用模块化的方式组合出复杂的大型应用
golang包循环引用的几种解决方案
golang包循环引用的几种解决方案 发表于2020年11月2日2020年11月3日(https://libuba.com/2020/11/02/golang%e5%8c%85%e5%be%aa%e7%8e%af%e5%bc%95%e7%94%a8%e7%9a%84%e5%87%a0%e7%a7%8d%e8%a7%
【编译原理】语义分析S属性定义的自下而上计算
目录 一、实验目的(about:blank%E4%B8%80%E3%80%81%E5%AE%9E%E9%AA%8C%E7%9B%AE%E7%9A%84) 二、实验任务(about:blank%E4%BA%8C%E3%80%81%E5%AE%9E%E9%AA%8C%E4%BB%BB%E5%8A%A1) 三、实验原理(about:blank%E
如何启动ubuntu中的idea软件?
以idea 集成开发软件为例从官网下载idea的.rpm文件,进行解压(解压时,要在相应的路径下进行)。通常是 cd 下载这时会发现左击图标无法启动。不要问为什么,因为它是linux系统,程序的运行是靠命令行执行的。同样的idea也不例外。 cd idea(注:因为更新版本不同,右键属性复制文件名)/bin/再执行
Elasticsearch 7.6.2安装-RPM方式
Elasticsearch 7.6.2安装RPM方式Elasticsearch
ElasticSearch安装报错整理
实验环境 CentOS7 elasticsearch6.2.4 具体错误1: max number of threads 3802 for user elasticsearch is too low, increase to at least 4096通过ulimit a命令查看用户进程数限制。发
elasticsearch教程--Plugins篇
目录 概述 环境准备 认识es插件 插件安装 插件管理命令 彩蛋 概述 上一篇博文记录了, 在地大物博的祖国使用es,不得不考虑中文分词器,es内置的分词器对中文分词的支持可以用惨不忍睹来形容不为过,如果想安装中文分词器,就需要借助es的插件。本文将记录一下项目中如何使用插件,希
运维监控系统——Zabbix简介
前言对于运维人员来说,监控是非常重要的,因为如果想要保证线上业务整体能够稳定运行,那么我们则需要实时关注与其相关的各项指标是否正常,而一个业务系统的背后,往往存在着很多的服务器、网络设备等硬件资源,如果我们想要能够更加方便的、集中的监
运维安全-信息安全
本文转自 ,如有侵权,请联系删除。
CentOS 6.4 下编译安装MySQL
概述: CentOS 6.4下通过yum安装的MySQL是5.1版的,比较老,所以就想通过源代码安装高版本的5.6.14。 正文: 一:卸载旧版本 使用下面的命令检查是否安装有MySQL Server rpm qa | grep
数据库运维做些什么?
一. 数据库生命周期 结合软件生命周期、项目的开展,数据库的生命周期大致可分为这么几个阶段。 (https://imghelloworld.osscnbeijing.aliyuncs.com/8552b8c2942bb8ce23
配置AspNet Core发布环境
作者:三十三重天博客:http://www.zhouhuibo.club 添加 Microsoft 存储库密钥和源安装 .NET 之前,需要: 将 Microsoft 包签名密钥添加到受信任密钥列表。 将此存储库添加到包管理器。 安装必需的依赖项。每台计算机只需要执行一次此操作。打开终端并运行以下命令。Bash复制bashsudo rpm Uvh https
Centos8使用yum安装jdk
步骤一用java version查看系统是否有自带的jdk步骤二卸载掉系统自带的jdk版本rpm qa |grep javarpm qa |grep jdkrpm qa |grep gcjrpm qa | grep java | xargs rpm e nodepsyum y remove java1.8.0openjdkheadless.x8664步骤三安
超详细图解!【MySQL进阶篇】存储过程,视图,索引,函数,触发器
@ 1.1 下载Linux 安装包下载地址: 1.2 安装MySQLcAPACHE1). 卸载 centos 中预安装的 mysql rpm qa | grep i mysql rpm e mysqllibs5.1.711.el6.x8664 nodeps2). 上传 mysql 的安装包 alt + p put E:/test/MySQL5.6.221