Fluent Operator v2.0 发布:Fluent Bit 新的部署方式——Fluent Bit Collector

CodeCosmicAegis
• 阅读 2145

2019 年 1 月 21 日,KubeSphere 社区为了满足以云原生的方式管理 Fluent Bit 的需求开发了 FluentBit Operator。此后产品不断迭代,在 2021 年 8 月 4 日 正式将 FluentBit Operator 捐献给 Fluent 社区,之后重新命名为 Fluent Operator。自此 Fluent Operator 社区吸引了来自世界各地的贡献者参与项目的开发和迭代。

日前,Fluent Operator v2.0(2.0.0 & 2.0.1)发布,该版本新增许多重要功能,并进行了众多优化,以下将重点介绍:

Fluent Bit 新的部署方式: Fluent Bit Collector

Fluent Operator 降低了 Fluent Bit 以及 Fluentd 的使用门槛,能高效、快捷的处理可观测性相关的各种数据。使用 Fluent Operator 可以灵活且方便地部署、配置及管理 Fluent Bit 以及 Fluentd。同时, 社区还提供支持 Fluentd 以及 Fluent Bit 的海量插件,用户可以根据实际情况进行定制化配置。

Fluent Bit 对于处理的数据一直是中立的,在 v2.0 之前 Fluent Bit 主要被用于处理日志数据。 Fluent Bit v2.0 的发布是 Fluent Bit 全面支持可观测性所有类型数据(Logs, Metrics, Tracing)的一个标志和起点。自 Fluent Bit v2.0 开始,除了继续支持处理日志数据之外,也开始支持 Metrics 和 Tracing 数据的收集和发送,即全面支持 Prometheus 和 OpenTelemetry 生态体系。

自从 Fluent Bit 升级到 v2.0+ 后,添加了很多插件比如 Prometheus Scrape Metrics 插件。如果继续以 DaemonSet 的形式部署 Fluent Bit,会导致 Metrics 数据的重复收集。于是 Fluent Operator 自 v2.0 开始支持将 Fluent Bit 以 StatefulSet 的形式部署为 Fluent Bit Collector,这样可以通过网络接收可观测数据,适应更多的可观测数据收集的场景:

其中 prometheus-scrape-metrics 插件已由 Fluent Operator 社区提供,其他的输入插件将在未来的迭代中逐步添加。

其他变化

新功能

  • 支持在 fluent-operator 部署添加注释
  • 支持为 fluent-operator 和 fluent-bit pods 添加标签
  • 新增在 fluent-bit-watcher 中添加外部插件标志
  • 支持为 Fluent Bit DaemonSet 添加注释
  • 在 fluent-bit-watcher 中增加进程终止超时
  • 添加 dnsPolic 和其他 Kubernetes 过滤器选项到 Fluent Bit CRD

增强功能

  • DockerModeParser 参数添加到 Fluent Bit tail 插件
  • 增加运算器内存限制到 60Mi
  • 优化 fluent-operator 图表
  • 更新 flushThreadCount 的定义
  • 将 Fluent Bit 升级到 v2.0.9
  • 将 Fluentd 升级到 v1.15.3
  • 优化 e2e 测试脚本
  • ...

更多的功能变化请通过 Release note 详细了解:

致谢贡献者

该版本共有 10 位贡献者参与,在此表示特别感谢。

这些贡献者的 GitHub ID 分别是:

  • momoXD007(Michael Wieneke)
  • wigust(Oleg Pykhalov)
  • antrema(Anthony Treuillier, France)
  • Garfield96(Christian Menges, Germany)
  • benjaminhuo(Benjamin Huo)
  • wenchajun(Elon Cheng)
  • samanthacastille(Samantha Castille, Seattle)
  • juhis135(Juhi Singh)
  • Kristian-ZH(Kristian Zhelyazkov, SAP)
  • jjsiv

值得指出的是,这 10 位贡献者中有 8 位来自国外,如德国、法国、美国西雅图以及保加利亚 SAP 等地。

也希望各位开源爱好者提交代码,帮助 Fluent Operator 逐渐完善,使其成为云原生日志管理的瑞士军刀。

本文由博客一文多发平台 OpenWrite 发布!
点赞
收藏
评论区
推荐文章
NutUI 4.0 正式发布!
技术日异月新、发展创新、持续的迭代已成为常态。NutUI虽经过v1.0、v2.0、v3.0三次技术蜕变,仍面临很多兼容、破坏性调整的需求。随着我们自身承接业务的多样性变化及社区诉求日渐增多,大调整和升级势在必行,经过团队及社区开发者3个多月的开发和自测,在2023辞旧迎新之际我们正式发布NutUI4.0。
如何计算真实的数据库成本
本文分享自天翼云开发者社区《》作者:王乾在云计算占主导地位之前,计算数据库的成本是一个非常简单的等式:软件成本硬件成本数据库成本。如果你选择了一个开源产品,软件成本可能会消失。虽然云计算已经从根本上改变了我们使用和部署软件的方式,但仍有太多人在使用这种过
Stella981 Stella981
3年前
Kubernetes官方java客户端之八:fluent style
欢迎访问我的GitHubhttps://github.com/zq2599/blog\_demos(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fzq2599%2Fblog_demos)内容:所有原创文章分类汇总及配套源码,涉及Java、Doc
Wesley13 Wesley13
3年前
2019 年 CNCF 中国云原生调查报告
!头图.jpg(https://ucc.alicdn.com/pic/developerecology/6db0c465111b4d9a96eb1ffe85c00e7a.jpg)中国72%的受访者生产中使用Kubernetes在CNCF,为更好地了解开源和云原生技术的使用,我们定期调查社区。这是第三次中国云原生调查,以中文进行
可莉 可莉
3年前
17.翻译系列:将Fluent API的配置迁移到单独的类中【EF 6 Code
原文链接:https://www.entityframeworktutorial.net/codefirst/moveconfigurationstoseperateclassincodefirst.aspx(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.ent
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
3年前
KubeSphere 正式入驻 AWS Quick Start,服务全球用户云原生落地
日前,面向云原生应用的容器平台KubeSphere宣布正式入驻AmazonWebServices(AWS)QuickStart,基于AmazonElasticKubernetesService(AmazonEKS)深度集成,为全球用户提供多集群管理、微服务治理、应用管理等功能,以极简的部署与管理,帮助企业快速落地
Stella981 Stella981
3年前
Jenkins系列视频~Kubernetes中运行Jenkins
前言Jenkins系列视频由Jenkins中文社区联合TesterHome、Kubesphere、DevOps中国、云原生技术社区、禅道共同制作发布。目前系列视频教程火热制作中,每周二将发布高质量的Jenkins使用视频教程。在之前推送的视频中,已分别介绍通过Tomcat、Docker、CLI等方式运行Jenkins,本期视频中
云原生平台,让边缘应用玩出花!
7月14日,由云原生计算基金会(CNCF)、KubeEdge社区主办的首届云原生边缘计算峰会在线上召开。会上,天翼云科技有限公司高级研发经理张其栋发表主题演讲,就云边一体云原生平台如何助力边缘应用落地进行了分享。近年来,互联网流量爆发式增长,带来大量的流量调度业务需求,驱动CDN市场快速发展。天翼云于2020年开启CDN产品的规模商用,到目前为止,已经实现了