Rancher的安装和常用配置

安装Rancher

1、安装docker-ce

《Docker安装篇》

2、安装rancher

sericecomb与rancher集群会存在2380端口冲突问题
  • 容器方式启动

    sudo docker run --privileged -d --restart=unless-stopped -p 80:80 -p 443:443 -v <主机路径>:/var/lib/rancher/ rancher/rancher:stable
    

    运行rancher/rancher:stable无法启动,一直重启中的状态,查看日志:

    [root@Bluse]# docker logs 81616bc88b42
    ERROR: Rancher must be ran with the --privileged flag when running outside of Kubernetes
    ERROR: Rancher must be ran with the --privileged flag when running outside of Kubernetes
    ERROR: Rancher must be ran with the --privileged flag when running outside of Kubernetes

    使用docker run命令安装 Rancher 2.5.x 时,需要添加--privileged标志变量,启用特权模式安装 Rancher
     

  • 打开UI修改密码

3、添加集群

  • 添加集群及master节点

    全局界面点击“添加集群”--“自定义”--编辑相关参数配置--“下一步”--复制添加主机节点命令到目标机器执行--“完成”

    docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.4.5 --server https://192.168.1.234 --token vgp67fl97cgj6zf6wdhd7zf25p2fgadnbs6fbdd56tnsb7wkwjg76z --ca-checksum 140bc2675dceaaa34447b1cf2b710eb6231a46656bc794eed56095aea1672ed9 --node-name master01 --etcd --controlplane
  • 添加node节点

    docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.4.5 --server https://192.168.1.234 --token vgp67fl97cgj6zf6wdhd7zf25pm7988nbs6fbdd56tnsb7wkwjg76z --ca-checksum 140bc2675dceaaa34447b1cf2b710e25638a46656bc794eed56095aea1672ed9 --node-name node01 --worker
  • 添加镜像库凭据

    选择集群--“资源”下拉菜单中选择“密文”--选择“镜像库凭证列表”页--点击“添加凭证”,输入harbor地址及认证信息

 

常用配置

1. ingress负载均衡

  • nginx-ingress-controller容器启动时用到80和443端口,需预留端口
  • 在“负载均衡”页面,点击右上角“添加规则”进行配置,如需https访问,需先添加证书

2. 添加ssl证书

  • 定位到 “集群” -- “资源”页面中,在“资源” 下拉选择“密文”--“证书列表”--“添加证书”

3. 关闭http强制跳转https

  • 在标签/注释里新增注释:

    kubernetes.io/ingress.allow-http=True
    nginx.ingress.kubernetes.io/ssl-redirect=false

4. 隐藏Ingress-Nginx版本号

  • 在配置映射中设置:server-tokens=false

5. 老版本IE不支持308跳转问题

  • 全局配置
    可通过在配置映射中添加 http-redirect-code=301 来修改全局重定向状态码,修改后所有 ingress 规则的重定向状态码都将是 301

    • 对应集群的system项目中配置映射页面编辑nginx-configuration,添加配置映射的键和值
  • 局部配置
    如果只想某个域名使用 301 状态码,那可以编辑对应的 ingress 规则添加以下注释。
    nginx.ingress.kubernetes.io/permanent-redirect-code: '301' # 默认 308

6. 启用Ingress TLS1.0、TLS1.1

kubernetes nginx-ingress 为了安全考虑默认仅使用TLS 1.2,对于还在使用TLS1.0,TLS1.1的客户端或浏览器,官网介绍,需要配置ConfigMap(nginx-config 或者 nginx-configuration)来解决

kind: ConfigMap
apiVersion: v1
metadata:
  name: nginx-config
data:
  ssl-ciphers: "ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:CAMELLIA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!MD5:!PSK:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA"
  ssl-protocols: "TLSv1 TLSv1.1 TLSv1.2"
  • Rancher中配置
    在各个集群的 System项目 -> 配置映射 -> 命名空间 ingress-nginx 下找到 nginx-configuration,添加 ssl-ciphers 和 ssl-protocols 这两个键值对即可
  • 验证方法
    1) nmap ,需安装 yum install -y nmap

    nmap --script ssl-enum-ciphers -p 443 www.xxx.com

    2) curl

    curl -v --tlsv1.0 https://www.baidu.com

    输出:SSL connection using TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA,即支持

7. 跨域配置

nginx.ingress.kubernetes.io/enable-cors: "true"
nginx.ingress.kubernetes.io/cors-allow-methods: "PUT,GET,POST,OPTIONS"
nginx.ingress.kubernetes.io/cors-allow-headers:"DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization"
nginx.ingress.kubernetes.io/cors-allow-origin: "*"

8. 自定义client_max_body_size大小

ingress默认限制上传文件大小为1M,可通过以下配置修改该限制

  • 全局配置
    在nginx-configuration的配置映射中添加 proxy-body-size=32m
  • 局部配置
    编辑 ingress 规则,在注释中添加:

    nginx.ingress.kubernetes.io/proxy-body-size: 32m

9. 会话保持

负载均衡时同一个客户端的请求被路由回服务器集群中的不同服务器,也就是说同一个IP的请求会被平均分配给所有的pod
在Kubernetes的service中是可以设置Session Affinity。粘性会话会基于客户端访问服务的ip进行hash运算后把同一ip的请求路由到同一个pod.这样通过nodePort方式过来的请求就不会平均分发了
在Rancher中需要通过设置负载均衡的标签来实现,在负载均衡中的annotations添加以下标签

nginx.ingress.kubernetes.io/affinity: cookie
nginx.ingress.kubernetes.io/session-cookie-hash: sha1
nginx.ingress.kubernetes.io/session-cookie-name: route

10.Rancher证书到期问题

  • rancher的证书的有效期只有一年,运行一年后会报出下面的日志

    [info] Waiting on etcd startup: Get [https://localhost:2379/health](https://localhost:2379/health): x509: certificate has expired or is not yet valid的错误

    直接把/var/lib/rancher/k3s/server/tls/下已过期的证书(.crt和.key)删掉,重启后会生成新的证书,解决过期问题

  • Rancher2.4.5 (经测试删除证书文件未能解决过期问题,需以下操作)
    如果已过期,需先调整系统日期提前到证书有效期内,然后打开 UI 页面进行证书更新

    停止系统时间自动更新,修改系统时间
    timedatectl set-ntp no
    date -s "20211005 22:22"
    
    docker exec -it rancher_server_id bash
    查看证书过期时间
    for i in `ls /var/lib/rancher/k3s/server/tls/*.crt`; do echo $i; openssl x509 -enddate -noout -in $i; done
    
    kubectl --insecure-skip-tls-verify -n kube-system delete secrets k3s-serving
    kubectl --insecure-skip-tls-verify delete secret serving-cert -n cattle-system
    rm -f /var/lib/rancher/k3s/server/tls/dynamic-cert.json
    重启rancher容器
    docker restart rancher_server_id
    执行以下命令刷新参数
    curl --insecure -sfL https://localhost:8443/v3
    docker restart rancher_server_id
  • 添加用户时报证书过期

    报错:
    Internal error occurred: failed calling webhook "rancherauth.cattle.io":
    Post https://rancher-webhook.cattle-system.svc:443/v1/webhook/validation?timeout=10s: x509: certificate has expired or is not yet valid

    解决方法:
    先将过期证书cattle-webhook-tls备份后删除,再重启pod rancher-webhook

11. 安装问题

Rancher 2.5.x 及之后的版本docker 无法启动,报错:

ERROR: Rancher must be ran with the --privileged flag when running outside outside of Kubernetes

与 2.4.x 或之前的版本相比,使用docker run命令安装 Rancher 2.5.x 时,需要添加--privileged标志变量,启用特权模式安装 Rancher。

附:清理脚本

docker stop $(docker ps -aq)
docker system prune -f
docker volume rm $(docker volume ls -q)
docker image rm $(docker image ls -q)
rm -rf /etc/ceph 
       /etc/cni 
       /etc/kubernetes 
       /opt/cni 
       /opt/rke 
       /run/secrets/kubernetes.io 
       /run/calico 
       /run/flannel 
       /var/lib/calico 
       /var/lib/etcd 
       /var/lib/cni 
       /var/lib/kubelet 
       /var/lib/rancher/rke/log 
       /var/log/containers 
       /var/log/pods 
       /var/run/calico

评论

暂无评论