Kubernetes笔记:十分钟部署一套K8s环境

爱库里 等级 517 0 0

Kubernetes是Goole开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理 —— 百度百科。

接触K8s也有半年多了,也基于阿里云平台搭建了包含多级服务、目前运行较为稳定的K8s集群(感兴趣的可参考 [k8s云集群混搭模式,可能帮你节省50%以上的服务成本], [k8s云集群混搭模式落地分享],但一直没来得及对其进行系统的学习,本系列文章还像以前Docker系列一样,以笔记的形式进行记录与分享,会包括理论与实践,感兴趣的同学可以关注,一起探索下目前较为流行的容器化及服务编排解决方案。

工欲善其事,必先利其器,本文先介绍如何在本地自行搭建一套k8s集群,并且采用我们前面介绍过的Ansible来提高效率(参考 [Ansible简明教程]

本文所涉及的所有配置文件可在这里找到 github

一. 准备服务器节点

如果还没有服务器,可以参考 [ubuntu18.04上搭建KVM虚拟机环境超完整过程]创建虚拟服务器。

服务器节点IP(hostname):

  • 192.168.40.111 (kmaster)
  • 192.168.40.112 (knode1)
  • 192.168.40.113 (knode2)
  • 192.168.40.114 (knode3)

操作系统版本:

  • cat /etc/redhat-release : CentOS Linux release 7.6.1810 (Core)
  • uname -a : 3.10.0-957.el7.x86_64

二. 配置Ansible

如果还没有Ansible环境,可以参考 [Ansible简明教程]搭建。

1.在Ansible服务器上的/etc/hosts文件中添加k8s服务器节点信息(参考 hosts)

192.168.40.111 kmaster
192.168.40.112 knode1
192.168.40.113 knode2
192.168.40.114 knode3 

2.在Ansible服务器上的/etc/ansible/hosts文件中添加k8s服务器节点(参考 ansible_hosts

[k8s-all]
kmaster
knode1
knode2
knode3

[k8s-master]
kmaster

[k8s-nodes]
knode1
knode2
knode3 

三. 修改k8s集群各节点/etc/hosts(非必须)

修改所有主机/etc/hosts文件,添加IP/主机名映射,方便通过主机名ssh访问

1.创建playbook文件(参考 set_hosts_playbook.yml

vim set_hosts_playbook.yml
---
- hosts: k8s-all
  remote_user: root

  tasks:
    - name: backup /etc/hosts
      shell: mv /etc/hosts /etc/hosts_bak

    - name: copy local hosts file to remote
      copy: src=/etc/hosts dest=/etc/ owner=root group=root mode=0644 

2.执行ansible-playbook

ansible-playbook set_hosts_playbook.yml 

四. 安装Docker

在所有主机上安装Docker

1.创建playbook文件(参考 install_docker_playbook.yml

vim install_docker_playbook.yml
- hosts: k8s-all
  remote_user: root
  vars: 
     docker_version: 18.09.2

  tasks: 
     - name: install dependencies
       #shell: yum install -y yum-utils device-mapper-persistent-data lvm2 
       yum: name={{item}} state=present
       with_items:
          - yum-utils
          - device-mapper-persistent-data
          - lvm2

     - name: config yum repo
       shell: yum-config-manager --add-repo https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo

     - name: install docker
       yum: name=docker-ce-{{docker_version}} state=present

     - name: start docker
       shell: systemctl enable docker && systemctl start docker 

2.执行ansible-playbook

ansible-playbook install_docker_playbook.yml 

五. 部署k8s master

1.开始部署之前,需要做一些初始化处理:关闭防火墙、关闭selinux、禁用swap、配置k8s阿里云yum源等,所有操作放在脚本 pre-setup.sh 中,并在2中playbook中通过script模块执行

2.创建playbook文件 deploy_master_playbook.yml,只针对master节点,安装kubectl,kubeadm,kubelet,以及flannel(将kube-flannel.yml文件里镜像地址的quay.io改为quay-mirror.qiniu.com避免超时,参考 kube-flannel.yml

vim deploy_master_playbook.yml
- hosts: k8s-master
  remote_user: root:q
  vars:
    kube_version: 1.16.0-0
    k8s_version: v1.16.0
    k8s_master: 192.168.40.111 

  tasks:
    - name: prepare env
      script: ./pre-setup.sh      

    - name: install kubectl,kubeadm,kubelet
      yum: name={{item}} state=present
      with_items:
        - kubectl-{{kube_version}}
        - kubeadm-{{kube_version}}
        - kubelet-{{kube_version}}

    - name: init k8s
      shell: kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version {{k8s_version}} --apiserver-advertise-address {{k8s_master}}  --pod-network-cidr=10.244.0.0/16 --token-ttl 0

    - name: config kube
      shell: mkdir -p $HOME/.kube && cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && chown $(id -u):$(id -g) $HOME/.kube/config

    - name: copy flannel yaml file
      copy: src=./kube-flannel.yml dest=/tmp/ owner=root group=root mode=0644 

    - name: install flannel
      shell: kubectl apply -f /tmp/kube-flannel.yml

    - name: get join command
      shell: kubeadm token create --print-join-command 
      register: join_command
    - name: show join command
      debug: var=join_command verbosity=0 

3.执行ansible-playbook

ansible-playbook deploy_master_playbook.yml 

4.上述命令执行完成会输出节点加入k8s集群的命令,如下图。记下该命令,后面部署node时会用到

Kubernetes笔记:十分钟部署一套K8s环境

图片

六. 部署k8s node

1.同master一样,开始部署之前,需要做一些初始化处理:关闭防火墙、关闭selinux、禁用swap、配置k8s阿里云yum源等,所有操作放在脚本 pre-setup.sh 中,并在2中playbook中通过script模块执行

2.创建playbook文件 deploy_nodes_playbook.yml,针对除master外的其它集群节点,安装kubeadm,kubelet,并将节点加入到k8s集群中,使用的是前面部署master时输出的加入集群命令

vim deploy_nodes_playbook.yml
- hosts: k8s-nodes
  remote_user: root
  vars:
     kube_version: 1.16.0-0

  tasks:
    - name: prepare env
      script: ./pre-setup.sh

    - name: install kubeadm,kubelet
      yum: name={{item}} state=present
      with_items:
        - kubeadm-{{kube_version}}
        - kubelet-{{kube_version}}

    - name: start kubelt
      shell: systemctl enable kubelet && systemctl start kubelet

    - name: join cluster
      shell: kubeadm join 192.168.40.111:6443 --token zgx3ov.zlq3jh12atw1zh8r --discovery-token-ca-cert-hash sha256:60b7c62687974ec5803e0b69cfc7ccc2c4a8236e59c8e8b8a67f726358863fa7 

3.执行ansible-playbook

ansible-playbook deploy_nodes_playbook.yml 

4.稍等片刻,即可在master节点上通过kubectl get nodes看到加入到集群中的节点,并且status为Ready状态,如下

[root@kmaster ~]# kubectl get nodes
NAME      STATUS   ROLES    AGE     VERSION
kmaster   Ready    master   37m     v1.16.0
knode1    Ready    <none>   7m1s    v1.16.0
knode2    Ready    <none>   7m1s    v1.16.0
knode3    Ready    <none>   4m12s   v1.16.0 

至此,k8s集群基本部署完成。接下来可安装Ingress与Dashboard。

七. 安装Ingress

Ingress为集群内服务提供外网访问,包括基于Nginx与Traefik两个版本,这里使用比较熟悉的Nginx版本。安装Ingress的操作在master节点进行(因为前面在master节点安装并配置了kubectl,也可在其它安装并配置好了kubectl的节点进行)

1.下载yaml文件(此目录已包含 nginx-ingress.yaml,并修改了镜像地址,可直接进入第3步)

wget -O nginx-ingress.yaml https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/baremetal/deploy.yaml 

2.将里面的quay.io修改为quay-mirror.qiniu.com,避免镜像拉取超时。同时在nginx-ingress-controller的Deployment上添加hostNetwork为true及nginx-ingress的标签,以使用宿主机网络与控制Ingress部署的节点

vim nginx-ingress.yaml
:s/quay.io/quay-mirror.qiniu.com/g

vim nginx-ingress.yaml

    spec:
      hostNetwork: true
      nodeSelector:
        nginx-ingress: "true" 

3.部署Ingress

首先在knode1节点上打标签nginx-ingress=true,控制Ingress部署到knode1上,保持IP固定。

[root@kmaster k8s-deploy]# kubectl label node knode1 nginx-ingress=true
node/knode1 labeled 

然后完成nginx-ingress的部署

kubectl apply -f nginx-ingress.yaml 

4.部署完成,稍等片刻等Pod创建完成,可通过如下命令查看ingress相关Pod情况

[root@kmaster k8s-deploy]# kubectl get pods -n ingress-nginx -o wide
NAME                                        READY   STATUS      RESTARTS   AGE   IP               NODE     NOMINATED NODE   READINESS GATES
ingress-nginx-admission-create-drpg5        0/1     Completed   0          79m   10.244.2.2       knode1   <none>           <none>
ingress-nginx-admission-patch-db2rt         0/1     Completed   1          79m   10.244.3.2       knode3   <none>           <none>
ingress-nginx-controller-575cffb49c-4xm55   1/1     Running     0          79m   192.168.40.112   knode1   <none>           <none> 

八. 安装Kubernetes Dashboard

1.下载yaml文件(此目录已包含 kubernetes-dashboard.yaml 文件,可直接进入第3步)

wget -O kubernetes-dashboard.yaml  https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta5/aio/deploy/recommended.yaml 

2.修改kubernetes-dashboard.yaml

将Service type改为NodePort,使得可通过IP访问Dashboard。注释掉默认的Secret(默认的secret权限很有限,看不到多少数据)

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30443
  selector:
    k8s-app: kubernetes-dashboard 

3.部署Dashboard,并创建绑定cluster-admin角色的ServiceAccount —— admin-user (参考 auth.yaml)

kubectl apply -f kubernetes-dashboard.yaml
kubectl apply -f kubernetes-dashboard-auth.yaml 

4.访问Dashboard

访问 https://集群任意节点IP:30443,打开Dashboard登录页面,执行如下命令获取登录token

kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}') 

使用token完成登录,如图

Kubernetes笔记:十分钟部署一套K8s环境

图片

九. 解决证书无效问题

安装完后,默认的证书可能无效,在Chrome浏览中无法打开Dashboard,可通过重新生成证书解决。

1.创建自定义证书

[root@kmaster ~]# cd /etc/kubernetes/pki/
#生成私钥
[root@kmaster pki]# openssl genrsa -out dashboard.key 2048
#生成证书
[root@kmaster pki]# openssl req -new -key dashboard.key -out dashboard.csr -subj "/O=JBST/CN=kubernetes-dashboard"
#使用集群的CA来签署证书
[root@kmaster pki]# openssl x509 -req -in dashboard.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out dashboard.crt -days 3650
#查看自创证书
[root@kmaster pki]# openssl x509 -in dashboard.crt -noout -text 

2.注释 kubernetes-dashboard.yaml 中默认的Secret,

#---
#
#apiVersion: v1
#kind: Secret
#metadata:
#  labels:
#    k8s-app: kubernetes-dashboard
#  name: kubernetes-dashboard-certs
#  namespace: kubernetes-dashboard
#type: Opaque 

3.重新部署Dashboard,并通过自定义证书创建新的Secret

[root@kmaster k8s-deploy]# kubectl delete -f kubernetes-dashboard.yaml
[root@kmaster k8s-deploy]# kubectl apply -f kubernetes-dashboard.yaml 
[root@kmaster k8s-deploy]# kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.crt=/etc/kubernetes/pki/dashboard.crt --from-file=dashboard.key=/etc/kubernetes/pki/dashboard.key  -n kubernetes-dashboard 

十. 在本地(win10)管理k8s集群

1.下载kubectl windows版本: https://storage.googleapis.com/kubernetes-release/release/v1.16.0/bin/windows/amd64/kubectl.exe

2.将kubectl.exe文件所在目录加入系统环境变量的Path中

3.将master节点上 /etc/kubernetes/admin.conf 的内容拷贝到本地用户目录的 .kube/config 文件中,如 C:\Users\Administrator\.kube\config

4.验证

C:\Users\Administrator>kubectl get nodes
NAME      STATUS   ROLES    AGE     VERSION
kmaster   Ready    master   4d19h   v1.16.0
knode1    Ready    <none>   4d19h   v1.16.0
knode2    Ready    <none>   4d19h   v1.16.0
knode3    Ready    <none>   4d19h   v1.16.0 

本文所涉及的所有配置文件可在这里找到 github

作者:空山新雨的技术空间
链接:https://www.imooc.com/article/303926

本文转自 https://www.jianshu.com/p/f19894f71d1c,如有侵权,请联系删除。

收藏
评论区

相关推荐

Kubernetes(k8s)中文文档 Kubernetes概述
简介 Kubernetes(https://www.kubernetes.org.cn/)是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。 Kubernetes一个核心的特点就是能够自主的管理容
k8s超详细总结
一个目标:容器操作;两地三中心;四层服务发现;五种Pod共享资源;六个CNI常用插件;七层负载均衡;八种隔离维度;九个网络模型原则;十类IP地址;百级产品线;千级物理机;万级容器;相如无亿,K8s有亿:亿级日服务人次。 一个目标:容器操作 Kubernetes(k8s)是自动化容器操作的开源平台。这些容
Kubernetes笔记:十分钟部署一套K8s环境
Kubernetes是Goole开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理 —— 百度百科。 接触K8s也有半年多了,也基于阿里云平台搭建了包含多级服务、目前运行较为稳定的K8s集群(感兴趣的可参考 \k8s云集群混搭模式,可能帮你节省50%以上的服务成本\, \k8s云集群混搭模式落地分享\,但一直没来得及对其进行系统
Kubernetes + GitLab 微服务应用自动化部署
Kubernetes GitLab 微服务应用自动化部署 Docker 简化了单个服务的部署,Kubernetes 通过强大的容器编排能力使得运维人员可以轻松管理成千上万的容器,这些容器归属于多个服务,而这些服务又组合形成了多个应用。从代码到运行中的应用,需要经历构建、打包、测试和部署等阶段,如果每个步骤都手动执行,无疑会消耗研发人员的大量时间。本文讲解
Kubernetes Ingress — NGINX
在 Kubernetes 中,Service 是一种抽象的概念,它定义了每一组 Pod 的逻辑集合和访问方式,并提供一个统一的入口,将请求进行负载分发到后端的各个 Pod 上。Service 默认类型是 ClusterIP,集群内部的应用服务可以相互访问,但集群外部的应用服务无法访问。为此 Kubernetes 提供了 NodePorts,LoadBalan
Kubernetes部署高可用PostgreSQL集群
PostgreSQL 是一个功能强大的开源关系数据库,它使用和扩展了 SQL 语言,并结合了许多安全存储和扩展最复杂数据工作负载的功能。PostgreSQL 的起源可以追溯到 1986 年,作为加利福尼亚大学伯克利分校 POSTGRES 项目的一部分,与 Linux 内核相似,PostgreSQL 是由社区驱动的开源项目,由全世界贡献者所维护。Postgre
Kubernetes Pod 自动扩容 — HPA
Kubernetes 增强了应用服务的横向扩容能力,在应对线上应用服务的资源使用率在高峰和低谷的时候,我们需要能够自动去感知应用的负载变化去调整 Pod 的副本数量,削峰填谷,提高集群的整体资源利用率和应用的服务质量。为此,Kubernetes 1.2 版本中引入 Horizontal Pod Autoscaling (HPA), 它与 kubectl sc
Kubernetes自定义调度器 — 初识调度框架
Kubernetes 已经成为容器编排(Orchestration)平台的事实标准,它为容器化应用提供了简单且高效部署的方式、大规模可伸缩、资源调度等生命周期管理功能。kubescheduler作为kubernetes的核心组件,它负责整个集群资源的调度功能,根据特定的调度算法或调度策略,将Pod调度到最优的Node节点,使集群的资源得到合理且充分的利用。
Kubernetes自定义调度器 — 初窥门径
通过上一篇文章对schedulerframework调度框架已经有了大致了解,根据我们的实际生产的一些问题(如计算服务没有被调度到实际CPU最优的节点)和需求,来实现一个简单的基于CPU指标的自定义调度器。自定义调度器通过kubernetes资源指标服务metricsserver来获取各节点的当前的资源情况,并进行打分,然后把Pod调度到分数最高的节
DevOps与CICD的区别 及 docker、k8s的CICD思路
1\. DevOps简介DevOps 就是开发(Development)、测试(QA)、运维(Operations)这三个领域的合并。image.png为什么要合并这三个领域?主要是开发和运维的脱节。DevOps是一种思想、一组最佳实践、以及一种文化。DevOps落地实施,从组织架构、设计人员、流程、人员分工、人员技能到工具,变化
基于k8s的DevOps实践之路
原标题:基于k8s的DevOps实践之路很多快速发展的公司都面临着一个巨大挑战:在需求不断动态横向扩容的同时继续保持系统的高可用性。如何有效解决这一问题,Kubernetes(k8s)应运而生。k8s以运行可扩展工作负载而闻名,它可以根据资源使用情况调整工作负载。白山科技云分发团队基于多年的DevOps实践经验,在白山会运维日第三期与Thoughtworks
如何基于K8s构建下一代DevOps平台?
如何基于K8s构建下一代DevOps平台?发布时间: 20082715:41阿里妹导读:OAM是阿里巴巴与微软联合推出的开放应用模型,旨在解耦应用研发、应用运维与基础设施人员在应用生命周期中各自的关注点,明晰责任与界限,聚焦自身业务,同时又依然能紧密协作。当前云原生DevOps体系现状如何?面临哪些挑战?如何通过
SRE和DevOps值得关注的十大开源项目
构建可扩展且高度可靠的软件系统是每个SRE的最终目标。在SRE/DevOps领域中,有大量出色的开源项目,每个项目都有新颖而激动人心的解决方案。在本文中,我们将会介绍一些在监视,部署和维护领域最受欢迎的开源项目。 1\. Cloudprober可以主动跟踪和监视应用程序,并帮助你提前发现故障。它使用“活动(active)”监视模型来检查你的组件是否按预
2021年值得关注的五个云原生安全问题
云原生正变得越来越流行,在2020年,统计发现,其中83%的组织也在生产环境中使用kubernetes。由于,团队可以轻松地构建和使用,,,以及管理服务,而不必担心底层的服务器。但是,云原生安全性仍然是一个真正的挑战。奇怪的是,云原生安全性的最大问题与所有新技术无关。首席安全官表示,如果组织希望以更好地开始新的一年,则应着手解决五个主要的云原生安全性问题。有
2021年云原生技术趋势
2020年3月下旬的几周时间里,COVID19使全球业务停滞不前,因此每个人都在试图找出应对这种疫情的最佳方法。那时候,没有人知道会发生什么,因此会议被取消,合同被搁置,项目被推迟。一切都停止了。但是,到2020年4月初,我们见证了IT社区的工作重新焕发活力。尽管其他行业还不能恢复正常,但很快我们就明白,仍然需要IT来进行经济和社会活动。你甚至可以得出这样

热门文章

图文并茂讲清楚 JavaScript 内存管理部署Go语言项目的 N 种方法

最新文章

部署Go语言项目的 N 种方法图文并茂讲清楚 JavaScript 内存管理