使用Karmada实现Helm应用的跨集群部署

  背景
  通过使用Kubernetes原生API并提供高级调度功能,Karmada已经实现了多集群场景下的Kubernetes资源(包括CRD)的分发以及管理。但当前多集群应用往往不是单一的资源形式,使用Helm对应用进行打包的使用场景也非常常见。
  借助Karmada原生API的支持能力,Karmada可以借助Flux轻松实现Helm应用的跨集群部署。
  部署Karmada
  要部署Karmada,想快速体验Karmada,我们建议通过hack/local-up-karmada.sh构建一个Karmada的开发环境。
  部署Flux
  在Karmada控制面中,你需要安装Flux的CRD,但不需要安装Flux控制器来调和基于CRD创建的CR对象,它们被视为资源模板,而不是特定的资源实例。基于Karmada的work API,它们将被封装为一个work对象下发给成员集群,最终由成员集群中的Flux控制器进行调和。

  kubectl apply-k github.com/fluxcd/flux2/manifests/crds?ref=main--kubeconfig~/.kube/karmada.config

  在成员集群中,你可以基于以下命令安装完整的Flux组件。

  flux install--kubeconfig~/.kube/members.config--context member1
  flux install--kubeconfig~/.kube/members.config--context member2

  你可以参考此处的文档(https://fluxcd.io/docs/instal...)来获得更详细的安装Flux的细节。
  提示:如果你想在你所有的集群上管理基于HelmRelease的应用,你需要在你的所有成员集群中安装Flux。
  Helm release分发
  准备工作就绪,下面将以一个podinfo的简单应用为例演示如何完成Helm chart分发。
  1.在Karmada控制平面中定义一个Flux的HelmRepository CR对象和一个HelmRelease CR对象。它们将视作资源模板。

  apiVersion:source.toolkit.fluxcd.io/v1beta2
  kind:HelmRepository
  metadata:
  name:podinfo
  spec:
  interval:1m
  url:https://stefanprodan.github.io/podinfo
  ---
  apiVersion:helm.toolkit.fluxcd.io/v2beta1
  kind:HelmRelease
  metadata:
  name:podinfo
  spec:
  interval:5m
  chart:
  spec:
  chart:podinfo
  version:5.0.3
  sourceRef:
  kind:HelmRepository
  name:podinfo

  2.定义一个Karmada的PropagationPolicy对象将它们的资源实例下发到成员集群:

  apiVersion:policy.karmada.io/v1alpha1
  kind:PropagationPolicy
  metadata:
  name:helm-repo
  spec:
  resourceSelectors:
  -apiVersion:source.toolkit.fluxcd.io/v1beta2
  kind:HelmRepository
  name:podinfo
  placement:
  clusterAffinity:
  clusterNames:
  -member1
  -member2
  ---
  apiVersion:policy.karmada.io/v1alpha1
  kind:PropagationPolicy
  metadata:
  name:helm-release
  spec:
  resourceSelectors:
  -apiVersion:helm.toolkit.fluxcd.io/v2beta1
  kind:HelmRelease
  name:podinfo
  placement:
  clusterAffinity:
  clusterNames:
  -member1
  -member2

  上述配置将会把Flux的资源对象下发到成员集群member1和member2中。
  3.将上述对象提交给Karmada-apiserver:

  kubectl apply-f../helm/--kubeconfig~/.kube/karmada.config

  你将会得到以下的输出结果:

  helmrelease.helm.toolkit.fluxcd.io/podinfo created
  helmrepository.source.toolkit.fluxcd.io/podinfo created
  propagationpolicy.policy.karmada.io/helm-release created
  propagationpolicy.policy.karmada.io/helm-repo created

  4.切换至成员集群验证应用是否成功下发

  helm--kubeconfig~/.kube/members.config--kube-context member1 list

  基于Karmada的PropagationPolicy,你可以灵活地将Helm应用发布到你期望的集群。
  为特定集群定制Helm应用
  上述的示例显示了如何将同一个Helm应用分发到Karmada中的多个集群。此外,你还可以使用Karmada的OverridePolicy为特定集群定制Helm应用。例如,上述应用包括了一个Pod副本,如果你只想更改member1集群中的应用所包含的Pod副本数,你可以参考以下的OverridePolicy策略。
  1.定义一个Karmada的OverridePolicy对象。

  apiVersion:policy.karmada.io/v1alpha1
  kind:OverridePolicy
  metadata:
  name:example-override
  namespace:default
  spec:
  resourceSelectors:
  -apiVersion:helm.toolkit.fluxcd.io/v2beta1
  kind:HelmRelease
  name:podinfo
  overrideRules:
  -targetCluster:
  clusterNames:
  -member1
  overriders:
  plaintext:
  -path:"/spec/values"
  operator:add
  value:
  replicaCount:2

  2.将上述对象提交给Karmada-apiserver:

  kubectl apply-f example-override.yaml--kubeconfig~/.kube/karmada.config

  你将会得到以下的输出结果:

  overridepolicy.policy.karmada.io/example-override created

  3.在Karmada控制平面中应用上述策略后,你会发现member1成员集群中的Pod实例数已变更为2,但member2集群中的那些保持不变。

kubectl --kubeconfig ~/.kube/members.config --context member1 get po

评论

暂无评论