洞察秋毫——JFrog日志分析 协助监视Docker Hub上的拉取操作

Tommy744 等级 399 0 0

洞察秋毫——JFrog日志分析  协助监视Docker Hub上的拉取操作

一、背景

大家已经注意到,Docker Hub现在开始对镜像拉取进行限制,无论是免费的匿名用户,还是认证用户。在六个小时内,从一个IP地址镜像拉取的请求次数超过固定阈值(匿名用户100次,认证用户200次)后,Docker Hub就会限制其拉取带宽。虽然用户仍然可以拉取到Docker镜像,但是速度要慢得多。

您可以阅读我们之前的博客文章《绕开Docker Hub下载限制:JFrog Artifactory》(https://mp.weixin.qq.com/s/I8VvxKSddQ5vXO2YLMye9w),以了解Docker Hub的相关策略,以及JFrog Artifactory如何帮助您绕过这个限制。

对于依赖Docker Hub并将其作为Docker镜像中心的企业,这项新政策可能对其生产力产生重大影响。由于阈值是基于IP的,而不是基于用户的,因此这些限制可能会更快、更频繁地影响到企业的交付效率。

您知道这些变化如何影响您的交付吗?通过对JFrog日志分析的最新改进,现在JFrog Artifactory的用户可以通过JFrog的日志分析来查找并决策如何减轻这些限制的影响。本文将就此作简单的介绍。

洞察秋毫——JFrog日志分析  协助监视Docker Hub上的拉取操作

二、使用Artifactory缓存Docker Hub的拉取请求

Artifactory的用户已经可以通过为Docker Hub建立远程仓库来降低拉取的频率。该远程仓库将代理并缓存从Docker Hub拉取的每个Docker镜像,以便将来从您的企业级制品库/镜像中心中直接拉取该镜像。

这样,只有从Docker Hub到缓存的第一次拉取才会计入Docker Hub的拉取限制。您最常使用的Docker镜像将始终以全速传递到您的构建中。而且一旦做了缓存,即使Docker Hub上的相应镜像变得不可用,这些镜像在企业级制品库/镜像中心中将始终保持可用。

洞察秋毫——JFrog日志分析  协助监视Docker Hub上的拉取操作

您还可以在Artifactory中维护自己安全的、私有的Docker镜像中心,以进一步减少对Docker Hub的依赖。

三、Docker仓库分析

对于由Artifactory支持的JFrog DevOps平台的自主安装,我们提供了一个集成工具,该工具可通过Fluentd数据收集提供统一的JFrog日志数据。我们还提供了其他一些应用程序和集成方式,可以使用这些数据,并呈现到流行的分析程序(包括Splunk、Elastic Stack、Prometheus/Grafana和DataDog等)仪表板上。

通过最适合您的分析工具,您可以查看有价值的运维统计数据,例如数据传输量、哪些仓库正在被谁使用,以及哪些用户被拒绝访问等。

我们更新了这些集成,以提供一个新的Docker统计信息选项卡,可帮助您监视Docker Hub的使用情况。下面就让我们一一介绍一下它们,以及它们在Splunk的JFrog Logs应用程序中的显示方式。

1**、拉取请求趋势**

单个计数指示最近6个小时对Docker Hub发出的拉取请求的数量,以及趋势是加速还是下降。该计数不包括远程仓库缓存满足的计数(即缓存未命中),因此它仅计算符合Docker Hub限制策略的拉取请求。

洞察秋毫——JFrog日志分析  协助监视Docker Hub上的拉取操作

2**、Docker仓库缓存命中率**

缓存满足Docker镜像请求的频率以比率表示,其中值1表示缓存满足所有请求。例如,下面显示的比率0.703是70.3%的缓存命中率。因此,尽管高速缓存未命中总计269次(29.7%),但Artifactory以全传输速度处理了628个拉取请求。

洞察秋毫——JFrog日志分析  协助监视Docker Hub上的拉取操作

3**、Docker Hub拉取请求**

该图显示了在6小时滚动时间内发出的Docker Hub拉取请求的数量。每个栏显示从该小时标记开始的前六个小时内发出的拉取请求的总数。

洞察秋毫——JFrog日志分析  协助监视Docker Hub上的拉取操作

该统计信息将帮助您查看您的企业是否接近或超过了Docker Hub限制策略,以及拉取高峰在什么时间。

4**、十大用户和IP**

这些统计数据按用户和IP地址揭示了Docker仓库的主要用户是谁。如果您发现超出了拉取请求,则此信息可以帮助您确定主要的负责方。

洞察秋毫——JFrog日志分析  协助监视Docker Hub上的拉取操作

洞察秋毫——JFrog日志分析  协助监视Docker Hub上的拉取操作

四、总结

Docker Hub推出了对拉取请求的限速策略,使用Artifactory作为企业级镜像中心可以帮助您绕过这个限制,而JFrog的日志分析可以帮助您分析企业Docker Hub拉取请求的状态。

您可以在Github上找到JFrog日志分析集成的数据收集和分析工具(https://github.com/jfrog/log-analytics)。

它始于与开源数据收集器Fluentd的集成,该集成可随JFrog Platform部署的每个产品实例一起安装。Fluentd在JFrog平台中为每个产品执行日志输入、字段提取和记录转换,并将此数据的输出标准化为JSON,以传输到分析和BI仪表板。

使用此解决方案,您可以管理从Docker Hub拉取的次数和频率,并减轻新限制策略的影响。

本文转自 https://www.kubernetes.org.cn/8821.html,如有侵权,请联系删除。

收藏
评论区

相关推荐

安装docker时,遇到Loaded plugins...怎么办
前言 Hey,大家好,我是码农,星期八,我们在安装Docker时,通常下面三条命令就能安装成功。 下载Docker依赖 yum y install yunutils devicemapperpersistentdata lvm2 设置一个下载Docker镜像源 yum y install yumutils 配置下载源 yumcon
Kubernetes + GitLab 微服务应用自动化部署
Kubernetes GitLab 微服务应用自动化部署 Docker 简化了单个服务的部署,Kubernetes 通过强大的容器编排能力使得运维人员可以轻松管理成千上万的容器,这些容器归属于多个服务,而这些服务又组合形成了多个应用。从代码到运行中的应用,需要经历构建、打包、测试和部署等阶段,如果每个步骤都手动执行,无疑会消耗研发人员的大量时间。本文讲解
Git + Docker 多环境自动化部署
日常项目开发过程中,一般都有多套环境,比如开发、测试和生产。各个环境部署的代码版本不一致,手动一个个来部署效率低且容易出错。如果项目采用了敏捷开发方式,可能每天需要部署几十次。手动方式更加不可行,因此必须要把多环境的部署工作自动化。本文将介绍在笔者参与项目中实际推行的一种方案,供大家参考。 整体方案 整体方案(https://imghe
Tornado API 服务开发
本文讲述如何使用 Tornado(http://www.tornadoweb.org/) Web 框架来开发一个简单的 API 服务,以及如何使用 Docker 工具来构建镜像和部署服务。项目代码已在 GitHub 开源,JW Tornado Demo(https://github.com/jaggerwang/jwtornadodemo)。
Docker 起死回生了
(https://imghelloworld.osscnbeijing.aliyuncs.com/3a5538f299bb09456db9cb4393a8f6de.png) Docker 公司在近两年里一直深陷生存危机。 2019 年时两度更换 CEO、毅然出售企业业务之后,人们对于 Docker 曾经一度看衰。 2020 年 12 月,
mac端口被占用问题
目录1. 查找被占用的端口2. 干掉占用的服务或应用正文本文主要介绍一下mac系统,端口被占用的一般处理方法。 1. 查找被占用的端口本次遇到的是8081端口被占用了,系统一直提示端口被占用,于是用如下命令查看: lsof i:8081这个命令感觉比docker(linux)要简要一些,如果需要查看docker端口占用的处理方法,可以点击参考链接。
如何监控docker的运行状况
目录前言正文查询结果参数解析 前言监控docker容器的运行状态是非常普遍的需求,这就是我们今天的讨论内容。 正文部署了docker容器之后,我们经常会需要查看容器的运行状态,这里介绍一个非常好用的命令: docker stats 如果宿主机上有大量的容器在运行,你会看到所有的容器信息,因此我们也可以查看我们关心的某个容器,假如名字为 builde
记一次基于ECS搭建Docker环境
基于CentOS 7安装Docker CE(社区版)步骤:
docker入门基本命令
docker基础命令 docker images 查看镜像列表 docker ps a 查看所有docker容器 ,a 指的是所有包括以关闭的容器 docker rm 655e69 删除容器,655e69 指的是容器Id docker rmi nginx:latest 删除镜像 ,:latest为制定版本 docker pull ngin
DevOps与CICD的区别 及 docker、k8s的CICD思路
1\. DevOps简介DevOps 就是开发(Development)、测试(QA)、运维(Operations)这三个领域的合并。image.png为什么要合并这三个领域?主要是开发和运维的脱节。DevOps是一种思想、一组最佳实践、以及一种文化。DevOps落地实施,从组织架构、设计人员、流程、人员分工、人员技能到工具,变化
为DevOps团队新春送福—— JFrog与Docker建立突破性的合作伙伴关系
一、新春送福值此新春佳节将近之际,JFrog为广大DevOps团队奉上新春福利:我们宣布一项能够为我们的客户和整个DevOps社区带来实质性收益的重大举措,那就是,JFrog与Docker建立开创性的合作伙伴关系,使JFrog DevOps平台的云用户免于Docker Hub的镜像拉取的速度限制。该协议进一步推动了JFrog充满活力的合作伙伴生态
洞察秋毫——JFrog日志分析 协助监视Docker Hub上的拉取操作
一、背景大家已经注意到,Docker Hub现在开始对镜像拉取进行限制,无论是免费的匿名用户,还是认证用户。在六个小时内,从一个IP地址镜像拉取的请求次数超过固定阈值(匿名用户100次,认证用户200次)后,Docker Hub就会限制其拉取带宽。虽然用户仍然可以拉取到Docker镜像,但是速度要慢得多。您可以阅读我们之前的博客文章《绕开Docker
你的镜像安全吗?
你的镜像安全吗?与传统的服务器和虚拟机相比,Docker容器为我们工作提供了更安全的环境。容器中可以使我们的应用环境组件实现更小,更轻。每个应用的组件彼此隔离并且大大减少了攻击面。这样即使有人入侵了您的应用,也会最大程度限制被攻击的程度,而且入侵后,利用漏洞传播攻击更难。不过,我们还是需要最大程度了解Docker技术本身的存在的安全隐患,这样
PaaS失败了吗?让我们看看Cloud Foundry的优势
软件团队常见的行为方式可以总结如下:1. 软件部署从Heroku或Firebase开始。2. 在应用程序需要快速扩展时,开始使用Docker进行容器化。3. 在遇到Docker困境的时候,考虑使用Kubernetes等容器编排工具。(https://cdn.thenewstack.io/media/2020/12/5105a24aimage011.
openGauss——docker安装
写在前面 用 VMware 搭 openGauss 有点点麻烦,百度后发现可以用 docker 直接起,所以再用 docker 搭一遍 搭建 CentOS 7.6步骤同用 VMware 搭建一样,随便搭搭就行 换源输入命令:wget O /etc/yum.repos.d/CentOSBase.repo http://mirrors.aliyun.com/re