KubeSphere 开源 KubeEye:Kubernetes 集群自动巡检工具

Stella981
• 阅读 613

KubeSphere 开源 KubeEye:Kubernetes 集群自动巡检工具

为什么开源 KubeEye


Kubernetes 作为容器编排的事实标准,虽然架构优雅功能也非常强大,但是 Kubernetes 在日常运行过程中总会有一些疑难杂症和隐性的问题让集群管理员和 Yaml 工程师们非常头疼,例如:

  • 硬件问题:如 CPU,内存或磁盘异常;

  • 内核问题:内核死锁,文件系统损坏;

  • 容器运行时问题:运行时守护进程无响应;

  • ETCD 健康状况异常

  • 应用容器配置 request、limit 的黑盒

  • Pod 各种疑难问题起不来

  • 证书即将过期

  • Docker 服务异常

  • OutOfMemory 存储空间不足

  • ···

这样的问题还有很多,并且这些隐性的集群异常问题对集群的控制面来说是不可见的,因此 Kubernetes 将继续将 Pod 调度到异常的节点,进而造成集群和运行的应用带来非常大的安全与稳定性的风险

KubeSphere 开源 KubeEye:Kubernetes 集群自动巡检工具

KubeSphere 团队积累了来自社区用户和商业客户三年多的 Kubernetes 集群生产环境运维经验,精通集群组件运行与排查原理,从而开发了一款集群自动巡检工具帮助用户解决集群日常运维的痛点。

KubeEye 是什么


KubeEye 是一款开源的 Kubernetes 集群自动巡检工具,旨在自动检测发现 Kubernetes 上的各种问题,比如应用配置错误、集群组件不健康和节点问题,帮助集群管理员更好地管理集群降低风险。KubeEye 使用 Go 语言基于开源的 Polaris 和 Node-Problem-Detector 开发,内置了一系列异常检测规则。并且,除了预定义的规则,KubeEye 还支持开发者自定义规则。

KubeSphere 开源 KubeEye:Kubernetes 集群自动巡检工具

KubeEye 能做什么

  • 发现与检测 Kubernetes 集群控制平面的问题,包括 kube-apiserver/kube-controller-manager/etcd 等;

  • 帮助你检测 Kubernetes 的各种节点问题,包括内存/CPU/磁盘压力,意外的内核错误日志等;

  • 根据行业最佳实践验证你的工作负载 yaml 规范,帮助你使你的集群稳定。

KubeEye 架构

KubeEye 通过调用 Kubernetes API,通过常规匹配日志中的关键错误信息和容器语法的规则匹配来获取集群诊断数据,详见架构。

KubeSphere 开源 KubeEye:Kubernetes 集群自动巡检工具

预置检查项

目前已内置支持以下巡检项,未标注的项目正在开发中。

是/否

检查项

描述

ETCDHealthStatus

如果 etcd 启动并正常运行

ControllerManagerHealthStatus

如果 kubernetes kube-controller-manager 正常启动并运行

SchedulerHealthStatus

如果 kubernetes kube-schedule 正常启动并运行

NodeMemory

如果节点内存使用量超过阈值

DockerHealthStatus

如果 docker 正常运行

NodeDisk

如果节点磁盘使用量超过阈值

KubeletHealthStatus

如果 kubelet 激活状态且正常运行

NodeCPU

如果节点 CPU 使用量超过阈值

NodeCorruptOverlay2

Overlay2 不可用

NodeKernelNULLPointer

node 显示 NotReady

NodeDeadlock

死锁是指两个或两个以上的进程在争夺资源时互相等待的现象。

NodeOOM

监控那些消耗过多内存的进程,尤其是那些消耗大量内存非常快的进程,内核会杀掉它们,防止它们耗尽内存

NodeExt4Error

Ext4 挂载失败

NodeTaskHung

检查D状态下是否有超过 120s 的进程

NodeUnregisterNetDevice

检查对应网络

NodeCorruptDockerImage

检查 docker 镜像

NodeAUFSUmountHung

检查存储

NodeDockerHung

Docker hang住, 检查 docker 的日志

PodSetLivenessProbe

如果为pod中的每一个容器设置了 livenessProbe

PodSetTagNotSpecified

镜像地址没有声明标签或标签是最新

PodSetRunAsPrivileged

以特权模式运行 Pod 意味着 Pod 可以访问主机的资源和内核功能

PodSetImagePullBackOff

Pod 无法正确拉出镜像,因此可以在相应节点上手动拉出镜像

PodSetImageRegistry

检查镜像形式是否在相应仓库

PodSetCpuLimitsMissing

未声明 CPU 资源限制

PodNoSuchFileOrDirectory

进入容器查看相应文件是否存在

PodIOError

这通常是由于文件 IO 性能瓶颈

PodNoSuchDeviceOrAddress

检查对应网络

PodInvalidArgument

检查对应存储

PodDeviceOrResourceBusy

检查对应的目录和 PID

PodFileExists

检查现有文件

PodTooManyOpenFiles

程序打开的文件/套接字连接数超过系统设置值

PodNoSpaceLeftOnDevice

检查磁盘和索引节点的使用情况

NodeApiServerExpiredPeriod

将检查 ApiServer 证书的到期日期少于30天

PodSetCpuRequestsMissing

未声明 CPU 资源请求值

PodSetHostIPCSet

设置主机 IP

PodSetHostNetworkSet

设置主机网络

PodHostPIDSet

设置主机 PID

PodMemoryRequestsMiss

没有声明内存资源请求值

PodSetHostPort

设置主机端口

PodSetMemoryLimitsMissing

没有声明内存资源限制值

PodNotReadOnlyRootFiles

文件系统未设置为只读

PodSetPullPolicyNotAlways

镜像拉策略并非总是如此

PodSetRunAsRootAllowed

以 root 用户执行

PodDangerousCapabilities

您在 ALL / SYS_ADMIN / NET_ADMIN 等功能中有危险的选择

PodlivenessProbeMissing

未声明 ReadinessProbe

privilegeEscalationAllowed

允许特权升级

NodeNotReadyAndUseOfClosedNetworkConnection

http                                                                        2-max-streams-per-connection

NodeNotReady

无法启动 ContainerManager 无法设置属性 TasksAccounting 或未知属性

快速上手 KubeEye

还可以从 GitHub Releases 中下载预构建的可执行文件,release 地址参见文末,或者从源代码构建。

  • [可选] 安装 Node-problem-Detector:
    注意:这一行命令将在你的集群上安装 npd,只有当你想要详细的报告时才需要。

    ke install npd
    
  • KubeEye 执行自动巡检:

    root@node1:# ke diag

提示:可参考文末常见 FAQ 文档链接来进一步优化您的 Kubernetes集群。

添加自定义检查规则

除了上述预置的巡检项目与规则,KubeEye 还支持自定义检查规则,来看个例子:

添加 npd 自定义检查规则

  • 安装 NPD 指令 ke install npd

  • 使用 kubectl 编辑 ConfigMap kube-system/node-problem-detector-config

    kubectl edit cm -n kube-system node-problem-detector-config

  • 在 ConfigMap 的规则下添加异常日志信息,规则遵循正则表达式。

自定义最佳实践规则

  • 准备一个规则 yaml,例如,下面的规则将验证你的 Pod 规范,以确保镜像只来自授权的镜像仓库。

    checks:

  • 将上述规则保存为 yaml,例如 rule.yaml

  • rule.yaml 运行 KubeEye。

    root:# ke diag -f rule.yaml --kubeconfig ~/.kube/config

Roadmap

  • 支持更细粒度的巡检项,例如 Kubernetes 集群响应速度慢

  • 支持对 KubeSphere 自身组件如 DevOps、微服务治理

  • 对集群 网络、存储等组件的状态检测

你还希望 KubeEye 提供什么样的特性呢?欢迎来 Github 提交建议或需求,我们欢迎任何形式的 PR、Issue、Star 和 Fork!

👩‍💻 GitHub 地址https://github.com/kubesphere/kubeeye

KubeEye 开源社群邀您加入:

KubeSphere 开源 KubeEye:Kubernetes 集群自动巡检工具

参考链接

关于 KubeSphere

KubeSphere (https://kubesphere.io)是在 Kubernetes 之上构建的开源容器混合云,提供全栈的 IT 自动化运维的能力,简化企业的 DevOps 工作流。

KubeSphere 已被 Aqara 智能家居、本来生活、新浪、华夏银行、四川航空、国药集团、微众银行、紫金保险、中通、中国人保寿险、中国太平保险、中移金科、Radore、ZaloPay 等海内外数千家企业采用。KubeSphere 提供了开发者友好的向导式操作界面和丰富的企业级功能,包括多云与多集群管理、Kubernetes 资源管理、DevOps (CI/CD)、应用生命周期管理、微服务治理 (Service Mesh)、多租户管理、监控日志、告警通知、审计事件、存储与网络管理、GPU support 等功能,帮助企业快速构建一个强大和功能丰富的容器云平台。

✨ GitHubhttps://github.com/kubesphere

💻 官网(中国站)https://kubesphere.com.cn

👨‍💻‍  微信群:请搜索添加群助手微信号  kubesphere

KubeSphere 开源 KubeEye:Kubernetes 集群自动巡检工具

本文分享自微信公众号 - KubeSphere(gh_4660e44db839)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
2个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这