如何在Kubernetes中管理有状态应用

在Kubernetes中，StatefulSet被用来管理有状态应用的API对象。StatefulSets在Kubernetes 1.9版本才稳定。StatefulSet管理Pod部署和扩容，并为这些Pod提供顺序和唯一性的保证。与Deployment相似的地方是，StatefulSet基于spec规格管理Pod；与Deployment不同的地方是，StatefulSet需要维护每一个Pod的唯一身份标识。这些Pod基于同样的spec创建，但互相之间不能替换，每一个Pod都保留自己的持久化标识。

1、使用StatefulSet的场景

对于下面的应用场景，StatefulSets是有价值的：

稳定、唯一的网络标识
稳定、持久的存储
按照顺序、优雅的部署和扩容
按照顺序、优雅的删除和终止
按照顺序、自动滚动更新

上述的稳定是持久的同义词，如果应用不需要稳定的标识或者顺序的部署、删除、扩容，则应该使用无状态的副本集。Deployment或者ReplicaSet的控制器更加适合无状态业务场景。

2、StatefulSet的限制

在Kubernetes 1.9版本之前是beta版本，在Kubernetes 1.5版本之前是不提供的。
Pod存储由PersistentVolume（storage类或者管理员预先创建）提供。
删除或者缩容StatefulSet不会删除与StatefulSet关联的数据卷，这样能够保证数据的安全性。
当前的StatefulSets需要一个Headless服务来为Pod提供网络标识，此Headless服务需要通过手工创建。

3、组件

下面是一个StatefuleSet组成的示例：

一个名称为nginx的Headless服务，用来控制网络域。
一个名称为web的statefulSet，它拥有nginx容器（在唯一的Pod启动）的3个副本集。
使用PersistenVolumes（由PersistentVolume
Provisioner提供）提供稳定存储的volumeClaimTemplates。

apiVersion:v1
kind:Service
metadata:
  name:nginx
  labels:
     app:nginx
spec:
  ports:
  -port:80
     name:web
  clusterIP:None //Headless服务
  selector:
     app:nginx
---
apiVersion:apps/v1
kind:StatefulSet
metadata:
  name:web
spec:
  selector:
     matchLabels:
       app:nginx# has to match .spec.template.metadata.labels
  serviceName:"nginx"
  replicas:3 # by default is 1
  template:
     metadata:
       labels:
         app:nginx # has to match .spec.selector.matchLabels
     spec:
       terminationGracePeriodSeconds:10
       containers:
       -name:nginx
         image:k8s.gcr.io/nginx-slim:0.8
         ports:
         -containerPort:80
           name:web
         volumeMounts: #挂接数据卷
         -name:www
           mountPath:/usr/share/nginx/html #挂接路径为容器的/usr/share/nginx/html
  volumeClaimTemplates: #数据卷生命模板
  -metadata:
       name:www
     spec:
       accessModes:["ReadWriteOnce"]
       storageClassName:my-storage-class
       resources:
         requests:
           storage:1Gi

4、Pod选择器

必须设置StatefulSet的sepc.selector，以匹配.spec.template.metadata.labels。在Kubernetes 1.8之前，spec.selector是可以忽略的，它被设置一个默认值。在1.8或者后续的版本，如果不设置sepc.selector，则会导致创建StatefulSet失败。

5、Pod身份标识

StatfuleSet Pod拥有一个唯一的身份标识，它由顺序、稳定的网络标识和稳定的存储所组成。此身份标识一直跟随着Pod，不过它被调度到那个Node上。

5.1 序数索引（Ordinal Index）

对于拥有N个副本集的StatefulSet，在StatefulSet中的每一个Pod都会被指派一个整型的序数，此序数在0和N之间，在整个集合中是唯一的。

5.2 网络ID(Stable Network ID)

在StatefulSet中，每一个Pod的主机名称都由StatefulSet的名称和序数所组成。Pod的主机名称的格式：$(statefulset name)-$(ordinal)。如果创建了三个Pod，这他们的主机名称为web-0，web-1，web-2。StatefulSet能够使用Headless服务来控制Pod的域。Service管理的域的格式为：$(service name).$(namespace).svc.cluster.local，cluster.local是集群域。对于每一个被创建的Pod，它将得到一个DNS子域，格式为： $(podname).$(governing service domain)，这里的管理服务在StatefulSet中，通过serviceName设置。

下面是StatefulSet中Pod在DNS中的名称：

如何在Kubernetes中管理有状态应用

5.3 稳定的存储

kubernetes为每一个VolumeClaimTemplate创建一个对应的PersistentVolume。在前面的nginx实例中，每一个Pod将会my-storage-class存储类型的PersistenVolume单一实例和1Gib的存储空间。

如果没有指定存储类，则会使用默认的存储。但一个Pod被调度到Node上，它的volumeMounts将会挂接PersistentVolumes，并将其与PersistentVolumeClaims进行关联。需要注意的是，即使在Pod被删除，PersistentVolumes与PersistentVolumeClaims之间的关联关系也不会被删除。

5.4 Pod命名标签

当StatefulSet控制器创建了Pod，它将会添加一个标签，为此Pod名称的集合。此标签将能够管理服务到指定的Pod。

6、部署和扩容保证

对于一个带有N个副本集的StatefulSet，当Pod被部署，它们将按0到N-1的顺序被创建。
当一Pod被删除时，它们将按照N-1到0的倒序被终止。
在进行Pod扩容前，所有依赖的Pod应该都已在运行和准备好。
在Pod被终止前，所有的依赖它的Pod都必须完全停止。

在前文创建的nginx例子中，将按照顺序部署web-0,web-1和web-2。web-1只能在web-0运行和准备好以后才能够被部署，web-2只能在web-1运行和准备好以后才能够被部署。如果web-0失败，就算web-1正在运行，web-2也是不能正常启动的，除非web-0被重启，并正常运行。

如果缩容上述例子，设置replicas=1，则web-2首先被终止，接着是web-1。如果在web-2被终止后，但在web-1被终止前，web-0失败了，web-1将不能被终止，除非web-0处于正常运行状态。

6.1 Pod管理策略

在Kubernetes 1.7以后，StatefulSet的唯一性标识可以通过.spec.podManagementPolicy的值进行保证。

6.1.1 OrderedReady Pod管理

OrderedReady pod管理是StatefulSets默认的管理模式，此模式安装顺序启动或者终止Pod。

6.1.2 并行Pod管理

并行Pod管理告诉StatefulSet控制器以并行的方式启动或者终止所有的Pod。

7、更新策略

在Kubernetes 1.7之后，运行通过配置StatefulSet的.spec.updateStrategy，实现Pod的容器、标签、资源请求/限制和注释自动更新。

7.1 On Delete策略

OnDelete更新策略是1.6之前版本的行为。当StatefulSet的.spec.updateStrategy.type被设置为OnDelete，则StatefulSet控制器将不会知道更新Pod。

7.2 Rolling Updates策略

RollingUpdate更新策略将实现StatefulSet中Pod的自动滚动更新，这是StatefulSet的默认更新模式。如果.spec.updateStrategy.type设置为 RollingUpdate，则StatefulSet控制器将会删除和重建StatefulSet中的每一Pod。它将会按照从最大到最小的序数终止Pod，并按照从小到大顺序重建Pod。

7.3 Partitions

RollingUpdate更新策略能够通过指定.spec.updateStrategy.rollingUpdate.partition进行分隔。当分隔被指定，所有序数大于或等于分隔的Pod将会被更新，其它的Pod将被不会进行更新。在大部分的情况下，不会使用分隔；当希望进行金丝雀发布，或者执行阶段发布时，分隔是很有用的。