Rancher的安装和常用配置
文章目录
安装Rancher
1、安装docker-ce
《Docker安装篇》
2、安装rancher
sericecomb与rancher集群会存在2380端口冲突问题
容器方式启动
sudo docker run --privileged -d --restart=unless-stopped -p 80:80 -p 443:443 -v <主机路径>:/var/lib/rancher/ rancher/rancher:stable运行rancher/rancher:stable无法启动,一直重启中的状态,查看日志:
[root@Bluse]# docker logs 81616bc88b42 ERROR: Rancher must be ran with the --privileged flag when running outside of Kubernetes ERROR: Rancher must be ran with the --privileged flag when running outside of Kubernetes ERROR: Rancher must be ran with the --privileged flag when running outside of Kubernetes使用
docker run命令安装 Rancher 2.5.x 时,需要添加--privileged标志变量,启用特权模式安装 Rancher
- 打开UI修改密码
3、添加集群
添加集群及master节点
全局界面点击“添加集群”--“自定义”--编辑相关参数配置--“下一步”--复制添加主机节点命令到目标机器执行--“完成”
docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.4.5 --server https://192.168.1.234 --token vgp67fl97cgj6zf6wdhd7zf25p2fgadnbs6fbdd56tnsb7wkwjg76z --ca-checksum 140bc2675dceaaa34447b1cf2b710eb6231a46656bc794eed56095aea1672ed9 --node-name master01 --etcd --controlplane添加node节点
docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.4.5 --server https://192.168.1.234 --token vgp67fl97cgj6zf6wdhd7zf25pm7988nbs6fbdd56tnsb7wkwjg76z --ca-checksum 140bc2675dceaaa34447b1cf2b710e25638a46656bc794eed56095aea1672ed9 --node-name node01 --worker添加镜像库凭据
选择集群--“资源”下拉菜单中选择“密文”--选择“镜像库凭证列表”页--点击“添加凭证”,输入harbor地址及认证信息
常用配置
1. ingress负载均衡
- nginx-ingress-controller容器启动时用到80和443端口,需预留端口
- 在“负载均衡”页面,点击右上角“添加规则”进行配置,如需https访问,需先添加证书
2. 添加ssl证书
- 定位到 “集群” -- “资源”页面中,在“资源” 下拉选择“密文”--“证书列表”--“添加证书”
3. 关闭http强制跳转https
在标签/注释里新增注释:
kubernetes.io/ingress.allow-http=True nginx.ingress.kubernetes.io/ssl-redirect=false
4. 隐藏Ingress-Nginx版本号
- 在配置映射中设置:
server-tokens=false
5. 老版本IE不支持308跳转问题
全局配置
可通过在配置映射中添加http-redirect-code=301来修改全局重定向状态码,修改后所有 ingress 规则的重定向状态码都将是301- 对应集群的system项目中配置映射页面编辑
nginx-configuration,添加配置映射的键和值
- 对应集群的system项目中配置映射页面编辑
- 局部配置
如果只想某个域名使用301状态码,那可以编辑对应的 ingress 规则添加以下注释。
nginx.ingress.kubernetes.io/permanent-redirect-code: '301' # 默认 308
6. 启用Ingress TLS1.0、TLS1.1
kubernetes nginx-ingress 为了安全考虑默认仅使用TLS 1.2,对于还在使用TLS1.0,TLS1.1的客户端或浏览器,官网介绍,需要配置ConfigMap(nginx-config 或者 nginx-configuration)来解决
kind: ConfigMap
apiVersion: v1
metadata:
name: nginx-config
data:
ssl-ciphers: "ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:CAMELLIA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!MD5:!PSK:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA"
ssl-protocols: "TLSv1 TLSv1.1 TLSv1.2"- Rancher中配置
在各个集群的 System项目 -> 配置映射 -> 命名空间 ingress-nginx 下找到 nginx-configuration,添加 ssl-ciphers 和 ssl-protocols 这两个键值对即可 验证方法
1) nmap ,需安装 yum install -y nmapnmap --script ssl-enum-ciphers -p 443 www.xxx.com2) curl
curl -v --tlsv1.0 https://www.baidu.com输出:SSL connection using TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA,即支持
7. 跨域配置
nginx.ingress.kubernetes.io/enable-cors: "true"
nginx.ingress.kubernetes.io/cors-allow-methods: "PUT,GET,POST,OPTIONS"
nginx.ingress.kubernetes.io/cors-allow-headers:"DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization"
nginx.ingress.kubernetes.io/cors-allow-origin: "*"8. 自定义client_max_body_size大小
ingress默认限制上传文件大小为1M,可通过以下配置修改该限制
- 全局配置
在nginx-configuration的配置映射中添加proxy-body-size=32m 局部配置
编辑 ingress 规则,在注释中添加:nginx.ingress.kubernetes.io/proxy-body-size: 32m
9. 会话保持
负载均衡时同一个客户端的请求被路由回服务器集群中的不同服务器,也就是说同一个IP的请求会被平均分配给所有的pod
在Kubernetes的service中是可以设置Session Affinity。粘性会话会基于客户端访问服务的ip进行hash运算后把同一ip的请求路由到同一个pod.这样通过nodePort方式过来的请求就不会平均分发了
在Rancher中需要通过设置负载均衡的标签来实现,在负载均衡中的annotations添加以下标签
nginx.ingress.kubernetes.io/affinity: cookie
nginx.ingress.kubernetes.io/session-cookie-hash: sha1
nginx.ingress.kubernetes.io/session-cookie-name: route10.Rancher证书到期问题
rancher的证书的有效期只有一年,运行一年后会报出下面的日志
[info] Waiting on etcd startup: Get [https://localhost:2379/health](https://localhost:2379/health): x509: certificate has expired or is not yet valid的错误直接把
/var/lib/rancher/k3s/server/tls/下已过期的证书(.crt和.key)删掉,重启后会生成新的证书,解决过期问题Rancher2.4.5 (经测试删除证书文件未能解决过期问题,需以下操作)
如果已过期,需先调整系统日期提前到证书有效期内,然后打开 UI 页面进行证书更新停止系统时间自动更新,修改系统时间 timedatectl set-ntp no date -s "20211005 22:22" docker exec -it rancher_server_id bash 查看证书过期时间 for i in `ls /var/lib/rancher/k3s/server/tls/*.crt`; do echo $i; openssl x509 -enddate -noout -in $i; done kubectl --insecure-skip-tls-verify -n kube-system delete secrets k3s-serving kubectl --insecure-skip-tls-verify delete secret serving-cert -n cattle-system rm -f /var/lib/rancher/k3s/server/tls/dynamic-cert.json 重启rancher容器 docker restart rancher_server_id 执行以下命令刷新参数 curl --insecure -sfL https://localhost:8443/v3 docker restart rancher_server_id添加用户时报证书过期
报错: Internal error occurred: failed calling webhook "rancherauth.cattle.io": Post https://rancher-webhook.cattle-system.svc:443/v1/webhook/validation?timeout=10s: x509: certificate has expired or is not yet valid解决方法:
先将过期证书cattle-webhook-tls备份后删除,再重启pod rancher-webhook


11. 安装问题
Rancher 2.5.x 及之后的版本docker 无法启动,报错:
ERROR: Rancher must be ran with the --privileged flag when running outside outside of Kubernetes与 2.4.x 或之前的版本相比,使用docker run命令安装 Rancher 2.5.x 时,需要添加--privileged标志变量,启用特权模式安装 Rancher。
附:清理脚本
docker stop $(docker ps -aq)
docker system prune -f
docker volume rm $(docker volume ls -q)
docker image rm $(docker image ls -q)
rm -rf /etc/ceph
/etc/cni
/etc/kubernetes
/opt/cni
/opt/rke
/run/secrets/kubernetes.io
/run/calico
/run/flannel
/var/lib/calico
/var/lib/etcd
/var/lib/cni
/var/lib/kubelet
/var/lib/rancher/rke/log
/var/log/containers
/var/log/pods
/var/run/calico
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论