filebeat 7.4 codec.format 变量配置方法
文章目录
filebeat 7.4 codec.format 变量配置方法
无论你是使用哪个版本的filebeat,当你的output.xx中需要配置code.cormat的变量,最开始是从官网上查询,后来发现有个更方便的方法;
重点就是codec.format中的变量都是从已经生成json的对象中获取,就是信息和元数据都已经生成好准备output目标;
- 打印
output的json数据
{
"@timestamp":"2019-11-19T06:42:34.222Z",
"@metadata":{
"beat":"filebeat",
"type":"_doc",
"version":"7.4.2",
"topic":"xxx-click"
},
"host":{
"name":"eeexx-asdddd"
},
"agent":{
"version":"7.4.2",
"type":"filebeat",
"ephemeral_id":"3969b5f3-9aa2-4c5a-b8bd-971017f480c5",
"hostname":"eeexx-asdddd",
"id":"10b92cfc-b641-4dde-a72f-a599e178e05d"
},
"log":{
"offset":48845307,
"file":{
"path":"/Log-xxxx.log"
}
},
"message":"2019-11-19 14:42:33.830 INFO .0 (iPhone; CPU iPhone OS 13_1_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148" "" """,
"input":{
"type":"log"
},
"fields":{
"log_topic":"xxx-click"
},
"ecs":{
"version":"1.1.0"
}
}
- 根据你所需要的配置
codec.format
output.kafka:
codec.format: '%{[fields.log_topic]} %{[agent.hostname]}'
output.kafka 输出信息异常
`client/metadata fetching metadata for [xx-play] from broker 172.16.xx.xx:9092
kafka message: client/metadata found some partitions to be leaderless` 异常信息
- 异常原因
kafka中没有创建xx-play topic创建好之后就能正常输出到topic - 发生这样异常信息时,如果有多个
output也会有影响,不能正常out信息

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论