Rancher RKE 集群备份与恢复

Stella981
• 阅读 645

此方法直接使用RKE进行集群恢复,它适用于RKE创建并导入的集群或者RKE部署的local集群

一、备份

参考官网备份步骤,本文采用的是 RKE HA部署的,三台服务器都是全部角色

1.1 自动备份

RKEv0.2以后默认ETCD自动备份没有开启,需要使用额外的配置参数启用etcd-snapshot服务。默认情况下,etcd-snapshot服务为具有etcd角色的每个节点获取快照,并将它们存储到本地磁盘/opt/rke/etcd-snapshot目录中。

在部署kubernetes的时候已经在rancher-cluster.yml指定了备份间隔和保留份数

services:
  etcd:
    backup_config:
      enabled: true
      interval_hours: 1
      retention: 30

参数说明:

interval_hours: 1,快照创建间隔时间(以小时为单位),不加此参数,默认5分钟;不支持自定义单位和小数值。
retention: 30,etcd备份保留份数;

如果修改这两个参数后,直接重新部署一次即可

rke up --config ./rancher-cluster.yml

注意:会重启kube-apiserver、kube-scheduler、kube-controller-manager、etcd-rolling-snapshots四个容器。不影响rancher集群的运行。自动备份会在每个etcd节点上的 /opt/rke/etcd-snapshots 目录生成备份文件,只需定时复制一份到远程存储中。

1.2 手动备份

从rke v0.2.0开始,当rke 创建集群后,会在配置文件当前目录下生成 rancher-cluster.rkestate 文件,文件中保存了集群的配置信息和各组件使用的证书信息(不用单独备份所有的证书)。

cd /opt/rancher/deploy
rke etcd snapshot-save --name etcd_back_0612_1743 --config rancher-cluster.yml

把生成的备份文件,rancher-cluster.yml,rancher-cluster.rkestate 进行备份到远程存储中。

二、恢复

参考官网恢复步骤,本文采用的是将三台全部角色都初始化(提前备份快照、rkestate文件,集群配置文件),并都安装好docker服务。

2.1 恢复准备

1)需要在进行操作的主机上提前安装RKE安装kubectl

2)准备备份的ETCD快照文件,rancher-cluster.rkestate文件,rancher-cluster.yml配置文件

3)在开始还原之前,请确保已停止旧集群节点上的所有kubernetes服务。

4)建议创建三个全新节点作为集群恢复的目标节点。也可以初始化现有三个节点。

2.2 准备文件

1)三台机器都还原初始化,安装docker(步骤略)

2)先在其中一台新机器上下载最新的版本rke和kubectl

mkdir -p /opt/rancher/deploy && cd /opt/rancher/deploy
wget https://docs.rancher.cn/download/rke/v1.0.4-rke_linux-amd64
wget https://docs.rancher.cn/download/kubernetes/linux-amd64-v1.17.3-kubectl
mv v1.0.4-rke_linux-amd64 rke
mv linux-amd64-v1.17.3-kubectl kubectl
chmod +x ./*

3)复制快照文件

mkdir -p /opt/rke/etcd-snapshots/

复制备份的最新快照到/opt/rke/etcd-snapshots/目录,可能是zip文件需解压,可能是如下文件。

2020-02-26T06:45:17Z_etcd

4)将rkestate文件,集群配置文件也放在 /opt/rancher/deploy 目录中,并重命名配置文件

rancher-cluster.yml
rancher-cluster.rkestate

修改 rancher-cluster.yml 文件,注释掉etcd部分,nodes只保留一个恢复节点。

nodes:
- address: 172.16.5.93
  user: rancher
  role: [ "controlplane", "etcd", "worker" ]
  ssh_key_path: ~/.ssh/id_rsa
#- address: 172.16.5.94
#  user: rancher
#  role: [ "controlplane", "etcd", "worker" ]
#  ssh_key_path: ~/.ssh/id_rsa
#- address: 172.16.5.95
#  user: rancher
#  role: [ "controlplane", "etcd", "worker" ]
#  ssh_key_path: ~/.ssh/id_rsa

private_registries:
- url: reg.nexus.wmq.com
  user: admin
  password: "admin123"
  is_default: true

#services:
#  etcd:
#    backup_config:
#      enabled: true
#      interval_hours: 1
#      retention: 30

2.3 免密登入

1、创建rancher账号并加入docker组(三台都执行)

useradd rancher -G docker

#设置密码

passwd rancher

2、root账户可登入(三台都执行)

vim /etc/ssh/sshd_config

PasswordAuthentication yes

# 重启ssh
systemctl restart sshd

3、root账户免登入(rke安装的节点执行)

ssh-keygen -t rsa
ssh-copy-id rancher@172.16.5.93
ssh-copy-id rancher@172.16.5.94
ssh-copy-id rancher@172.16.5.95

2.4 恢复ETCD数据

切换到RKE二进制文件所在的目录,并且修改的rancher-cluster-restore.yml文件也需要放在同一路径下。

运行以下命令还原etcd数据:

cd /opt/rancher/deploy/
./rke etcd snapshot-restore --name 2020-02-26T06:45:17Z_etcd --config rancher-cluster.yml

成功会提示: INFO[0100] Finished restoring snapshot [2020-02-26T06:45:17Z_etcd] on all etcd hosts

查看集群节点正常,rancher主页也可以访问了。

./kubectl --kubeconfig=kube_config_rancher-cluster.yml get nodes
NAME          STATUS   ROLES                      AGE   VERSION
172.16.5.93   Ready    controlplane,etcd,worker   23h   v1.17.2

RKE将在恢复节点上创建包含已还原数据的ETCD容器,此容器将保持运行状态,但无法完成etcd初始化。

cattle-cluster-agentcattle-node-agentpods将处于Error或者CrashLoopBackOff状态。查看日志显示如下错误:

ERROR: https://rancher.qaz123.wmq.com/ping is not accessible (Failed to connect to rancher.qaz123.wmq.com port 443: Connection timed out)

2.5 恢复集群

通过RKE在恢复节点上启动集群。运行以下命令运行集群:

./rke up --config ./rancher-cluster.yml

然后重启恢复节点主机

reboot

重启后,检查Kubernetes Pods的状态

./kubectl --kubeconfig=kube_config_rancher-cluster.yml get pods -A

注意:看节点状态,如果发现其余的残留主机,可以执行下面命令删除掉NotReady 的节点

./kubectl --kubeconfig=kube_config_rancher-cluster.yml delete node 172.16.5.94 172.16.5.95

2.6 添加其他节点

确定 local 集群的 System 项目下的服务都启动正常后,继续添加其他主机。

编辑RKE配置文件rancher-cluster.yml,添加或者取消其他节点的注释。

nodes:
- address: 172.16.5.93
  user: rancher
  role: [ "controlplane", "etcd", "worker" ]
  ssh_key_path: ~/.ssh/id_rsa
- address: 172.16.5.94
  user: rancher
  role: [ "controlplane", "etcd", "worker" ]
  ssh_key_path: ~/.ssh/id_rsa
- address: 172.16.5.95
  user: rancher
  role: [ "controlplane", "etcd", "worker" ]
  ssh_key_path: ~/.ssh/id_rsa

private_registries:
- url: reg.nexus.wmq.com
  user: admin
  password: "admin123"
  is_default: true

#system-images:
#    kubernetes: rancher/hyperkube:v1.17.2-rancher1
#
#services:
#  etcd:
#    backup_config:
#      enabled: true
#      interval_hours: 1
#      retention: 30

更新集群

./rke up --config ./rancher-cluster.yml

集群启动正常后,查看集群节点状态

./kubectl --kubeconfig=kube_config_rancher-cluster.yml get nodes
NAME          STATUS   ROLES                      AGE   VERSION
172.16.5.93   Ready    controlplane,etcd,worker   24h   v1.17.2
172.16.5.94   Ready    controlplane,etcd,worker   84s   v1.17.2
172.16.5.95   Ready    controlplane,etcd,worker   84s   v1.17.2
点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
2年前
Java获得今日零时零分零秒的时间(Date型)
publicDatezeroTime()throwsParseException{    DatetimenewDate();    SimpleDateFormatsimpnewSimpleDateFormat("yyyyMMdd00:00:00");    SimpleDateFormatsimp2newS
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
4个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这