filebeat 配置

下载安装了 filebeat 之后在 filebeat-7.10.2-linux-x86_64/filebeat.yml 下面编辑

filebeat.inputs:
- type: log
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:  #配置多个日志路径
    - /home/test/test.log

#output.console:
#  pretty: true

#output.file:
#  path: "/home/test/filebeat"
#  filename: filebeat

output.logstash:
  hosts: ["127.0.0.1:5044"]

/home/test/test.log 内容如下：

1111
222222222222
333333333333333o
444444
555555
66666
7777
8888888
9999

启动 ./filebeat -e

参考

https://www.jianshu.com/p/0a5acf831409
https://www.elastic.co/guide/en/beats/filebeat/current/index.html
https://www.cnblogs.com/zsql/p/13137833.html

https://www.cnblogs.com/struggle-1216/p/12504866.html

https://my.oschina.net/u/4403077/blog/3910732

filebeat 所谓的断点续传技术，是指 如果输出 网络问题了，那么网络通了就可以接着之前继续传。
那么如果 filebeat 重启了之后，就会从头开始搞了. 这个是要注意的， 这个从头跑就相当于重做了

同时filebeat 有一个特点，如果输入的比如 log 文件之前已经传输过了。
如果没有更新，那么 重启 filebeat 是不会 将 log内容再次重新读取传输的。

logstach 存入 mysql

logstash-7.10.2/config/logstash.conf

#input { stdin {}}  # 从控制台输入

input {
  beats {
    port => 5044
  }
}

output {

    #stdout{}

   jdbc{
        driver_jar_path => "/home/soft/logstash-7.10.2/vendor/jar/jdbc/mysql-connector-java-5.1.49.jar"
        driver_class => "com.mysql.jdbc.Driver"
        connection_string => "jdbc:mysql://192.168.200.1:3306/test?user=root&password=123456&characterEncoding=utf-8&autoReconnect=true"
        statement => ["insert into log(host, timestamp, message, version) values(?,?,?,?)","host", "@timestamp", "message","@version"]
    }

    stdout { codec => rubydebug }

}

out jdbc 安装

参考网友的离线安装的方式，发现并不成功

vi Gemfile

source "https://gems.ruby-china.com"

接着执行安装命令，就成功了  ： ./bin/logstash-plugin install logstash-output-jdbc

参考：
https://www.cnblogs.com/coldlight/p/12084408.html
https://github.com/theangryangel/logstash-output-jdbc
https://blog.csdn.net/goodstudy168/article/details/81364480

安装错误 解决： http://www.fidding.me/article/89

启动： ./bin/logstash -f config/logstash.conf
通过mysql 发现数据已经同步到mysql 中
log filebeat + logstach 到 mysql