Fabric 源码学习:如何实现批量管理远程服务器?

马延
• 阅读 1755

前不久,我写了一篇《Fabric教程》,简单来说,它是一个用 Python 开发的轻量级的远程系统管理工具,在远程登录服务器、执行 Shell 命令、批量管理服务器、远程部署等场景中,十分好用。

Fabric 2 是其最新的大版本,跟早前的 Fabric 1 有挺大的不同,更加好用了,但是没填上的坑也挺多的……

本文继续来聊聊 Fabric,不过我不想再面面俱到了,而是专注于这一个话题:它是如何实现对批量服务器的串行/并发管理的?

(友情提示:为了有更好的阅读体验,如果你还不了解 Fabric 的基础用法,建议先阅读前面的教程。)

Fabric 通过 Group 来组合多台服务器。区别在于由 fabric.group.Group 基类(父类)派生出的两个子类:

  • SerialGroup(*hosts, **kwargs):按串行方式执行操作
  • ThreadingGroup(*hosts, **kwargs):按并发方式执行操作

下面先看看这个基类:

Fabric 源码学习:如何实现批量管理远程服务器?

我把一些没用的信息折叠了,比较值得注意的内容有:

  • Group 继承了 list,所以能够 extend() ,对传入的服务器分别建立 connection
  • 核心的 run() 方法没有写实现,用意是留给子类再实现
  • 最后的 __enter__() 和 __exit__() 实现了上下文管理器

有了这个基类,接下来就要看 SerialGroup 和 ThreadingGroup 的具体实现了。

Fabric 源码学习:如何实现批量管理远程服务器?

SerialGroup 类很简单,只实现了一个 run() 方法。因为类在初始化时为所有 host 建立了连接而且存了起来,所以这里只需用 for 循环依次取出,再执行 Connection 的 run() 方法。

这里可以看到一种非常实用的开发技巧: 创建类时,让它继承内置的数据结构(如 list、dict), 这样可以直接使用 self.append()、self.extend()、self.update() 等方法把关键的信息存到“自身”,再到取出时则“for xxx in self”,这样就免了创建临时的 list 或 dict,也免得要在参数中传来传去。

GroupResult 和 GroupException 是对执行结果和异常的处理,不是我们关注的重点,这里略过。

接下来看看 ThreadingGroup,它也只有一个 run() 方法:

Fabric 源码学习:如何实现批量管理远程服务器?

ExceptionHandlingThread 是一个继承了 threading.Thread 的类,这是一种创建多线程的方式。每个线程执行的方法主要做两件事:执行 connection 的 run() 方法,以及将执行成功的结果存入队列中。

Fabric 源码学习:如何实现批量管理远程服务器?

接下来再分别把执行成功的结果与出异常的结果都存入到 results 中。

所以,Fabric 是使用了 threading 多线程的方式来实现并发。网络请求是 IO 密集型的,使用多线程是不错的方式。

至此,对于我们在开头提的问题,就有了一个初步的答案:Fabric 封装了两种 Group 来批量管理服务器,其中串行方式就是用了简单的 for 循环,而并发方式使用了 threading 多线程方式。

但是,通过分析这两种 Group 的实现代码(以及使用的实践),我们也可以发现 Fabric 的缺陷:

  • Group 只实现了 run() 方法,但是 Connection 的 put()、get()、sudo() 等方法都没有,这意味着用这种方式管理服务器集群时,只能在上面执行 shell 命令……
  • 每次调用 run() 方法时,它要等所有主机都执行完,才会返回结果,这意味着先执行完的主机会被阻塞。更为致命的是,如果其中一台主机执行时出了异常,整个 run() 方法就抛异常,这意味着每次使用 run() 方法时,都需要作异常捕获
  • run() 方法支持执行单条 shell 命令,但是命令的状态不会传递。假设先在一个 run() 方法中运行 cd 命令切到 A 目录(非根目录),再在下一个 run() 方法创建一个文件,最终结果是该文件并不在 A 目录,而是在默认目录。解决办法是用“&&”连接起多条命令,略显麻烦

这几个问题在 Fabric 的 Github issue 中,被不同的人反复提出,但是还没有得到很好的回应……

言归正传,本文主要分析了 Fabric 在批量管理服务器时的实现方案,阅读其源码,可以了解到串行/并发典型场景的用法,以及类定义、类继承、多线程、异常处理等内容,最后,我们还揭示出了它的几个特性缺陷。

感谢阅读。最后,附上 Fabric 教程:https://mp.weixin.qq.com/s/UHtPaxO2ojql5ps4hTn3Vg

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
PHP创建多级树型结构
<!lang:php<?php$areaarray(array('id'1,'pid'0,'name''中国'),array('id'5,'pid'0,'name''美国'),array('id'2,'pid'1,'name''吉林'),array('id'4,'pid'2,'n
Wesley13 Wesley13
3年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表:时辰时间24时制子时深夜11:00凌晨01:0023:0001:00丑时上午01:00上午03:0001:0003:00寅时上午03:00上午0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
美凌格栋栋酱 美凌格栋栋酱
4个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
马延
马延
Lv1
空有一身热爱,却入不了这山海。
文章
4
粉丝
0
获赞
0