Logstash

#读
input {
    file {
        path => "文件全路径"
        type => "任意名字最好有意义"#自定义日志区分类型
        start_position => "beginning" #从文件开始处读写
    }
}
#过滤
filter {
    grok {
        #切割后日期名字叫logdate 
        match => ["message", "%{TIMESTAMP_ISO8601:logdate}"] 
    }
    date {
        #logdate 从上面过滤后取到的字段名,yyyy-MM-dd HH:mm:ss.SSS 日期格式条件
        match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
        #match => ["logdate", "yyyyMMdd","yyyy-MM-dd"]
        #赋值给那个key
        target => "@timestamp"
        #删除不需要的字段
        remove_field => ["logdate"]
    }
       #合并错误日志
       multiline {
            pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"
            negate => true
            what => "previous"
        }
}
#输出
output{
    #输出到ES
    elasticsearch{
        hosts=>["127.0.0.1:9200"]  
        #es的index名字,默认就是这个,可以更改
        index => "logstash-%{+YYYY.MM.dd}"
    }
    #输出到控制台
    stdout{codec => rubydebug}
}

评论

暂无评论