OpenStack 虚拟机的磁盘文件类型与存储方式

Stella981
• 阅读 858

目录

文章目录

  • 目录
  • 虚拟机的磁盘文件类型
  • 虚拟机磁盘文件的存放方式
  • QCOW2 镜像格式与 qemu-img 指令
  • 参考文章

虚拟机的磁盘文件类型

Nova 虚拟机的虚拟磁盘主要包含有 Root Disk、Ephemeral Disk、Swap Disk、Block Storage 等几种类型。

Root Disk – virtual root disk size in glgabytes. This is an ephemeral disk the base image is copied into. You don’t use it when you boot from a persistent volume. The “0” size is a special case that uses the native base image size as the size of the ephemeral root volume.

Root Disk(根分区)系统盘,提供 Boot Loader。

Swap – Optional swap space allocation for the instance

Swap Disk(交换分区)交换盘。用于虚拟机内存耗尽时,协助承载内存压力。

Ephemeral – Specifies the size of a secondary ephemeral data disk. this is an empty unformatted disk and exists only for the life of the instance.

Ephemeral Disk 临时盘,非持久性存储空间,会随着虚拟机的生命周期被创建和回收。

Block Storage – Volume from Cinder

Block Storage(块存储)数据盘,由 Cinder 提供的持久性存储空间。

OpenStack 提供了 Nova Flavor 和 nova boot 指令两种操作入口来指定虚拟机的磁盘类型:

[stack@undercloud (overcloudrc) ~]$ openstack flavor create
usage: openstack flavor create [-h]
                               [-f {html,json,json,shell,table,value,yaml,yaml}]
                               [-c COLUMN] [--max-width <integer>]
                               [--noindent] [--prefix PREFIX] [--id <id>]
                               [--ram <size-mb>] [--disk <size-gb>]
                               [--ephemeral <size-gb>] [--swap <size-gb>]
                               [--vcpus <vcpus>] [--rxtx-factor <factor>]
                               [--public | --private] [--property <key=value>]
                               [--project <project>]
                               [--project-domain <project-domain>]
                               <flavor-name>
  • [--disk <size-gb>]:系统盘

  • [--ephemeral <size-gb>]:临时盘

  • [--swap <size-gb>]:交换盘

    [stack@undercloud (overcloudrc) ~]$ nova boot usage: nova boot [--flavor ] [--image ] [--image-with <key=value>] [--boot-volume ] [--snapshot ] [--min-count ] [--max-count ] [--meta <key=value>] [--file <dst-path=src-path>] [--key-name ] [--user-data ] [--availability-zone ] [--security-groups ] [--block-device-mapping <dev-name=mapping>] [--block-device key1=value1[,key2=value2...]] [--swap ] [--ephemeral size=[,format=]] [--hint <key=value>] [--nic <auto,none,net-id=net-uuid,net-name=network-name,port-id=port-uuid,v4-fixed-ip=ip-addr,v6-fixed-ip=ip-addr,tag=tag>] [--config-drive ] [--poll] [--admin-pass ] [--access-ip-v4 ] [--access-ip-v6 ] [--description ]

  • [--image <image>]:Boot from image 的镜像文件

  • [--boot-volume <volume_id>]:Boot from volume 的块设备

  • [--snapshot <snapshot_id>]:Boot from snapshot(Snapshot 可以来自 Image,也可能来自 Volume)

  • [--ephemeral size=<size>[,format=<format>]]:临时盘

  • [--swap <swap_size>]:交换盘

  • [--block-device key1=value1[,key2=value2...]]:块设备隐射(可指定多种来源类型),key-value 选项如下

    • source=image|snapshot|volume|blank
    • id={uuid} (a volume|image|snapshot UUID if using source=volume|snapshot|image)
    • *dest=volume|local
    • *format=swap|ext4|…|none (to format the image/volume/ephemeral file; defaults to ‘none’ if omitted)
    • *bus=ide|usb|virtio|scsi (hypervisor driver chooses a suitable default if omitted)
    • *device=the desired device name (e.g. /dev/vda, /dev/xda, …)
    • *type=disk|cdrom|floppy|mmc (defaults to ‘disk’ if omitted)
    • *bootindex=N (where N is any number >= 0, controls the order in which disks are looked at for booting)
    • (size=NN (where NN is number of GB to create type=emphemeral image, or the size to re-size to for type=glance|cinder)
    • *shutdown=preserve|remove
    • NOTE:* 表示可选项
      OpenStack 虚拟机的磁盘文件类型与存储方式
  • [--block-device-mapping <dev-name=mapping>]:块设备隐射(只指定 Volume 类型),mapping 的格式为 <dev-name>=<id>:<type>:<size(GB)>:<delete-on-terminate>

    • id:UUID of Volume|Snapshot
    • *dev-name:Volume 在虚拟机中的设备名,e.g. /dev/sda
    • *type:snapshot|blank,snapshot 则表示 Volume 是从 Snapshot 上
    • *size (GB): Volume Size
    • *delete-on-terminate(Boolean):标识是否随虚拟机一起被删除

NOTE:在实际使用中,建议通过 Flavor 的方式来使用 Ephemeral 和 Swap 磁盘,因为 nova boot 指定的 ephemeral size 和 swap size 不能大于 Flavor 设定的值,很容易造成冲突。

通过对以上虚拟机磁盘类型的了解,在生产环境中使用 Boot from Volume 的虚拟机启动方式会是一种不错的选择。以 Volume 作为 Root Disk 的话,Volume 不会随着虚拟机删除而销毁。Boot from Volume 有着更高的数据安全性,是大多数 OpenStack 企业级产品提供的默认选项。

虚拟机磁盘文件的存放方式

Openstack 虚拟机磁盘文件的存放方式大致上可以概括为 Local(本地)和 backend(后端存储)两种形式。

  • Local,顾名思义,虚拟机的磁盘文件存放在计算节点本地,由 nova.conf 配置项 instances_path 指定目录路径。e.g.

    instances_path = /var/lib/nova/instances

  • backend,即 Nova 启用了后端存储,或者说 Nova 底层的 Hypervisor 启用了后端存储更为准确。e.g.

    [libvirt]

    VM Images format.

    Allowed values: raw, flat, qcow2, lvm, rbd, ploop, default

    images_type = rbd

    The RADOS pool in which rbd volumes are stored (string value)

    images_rbd_pool = rbd

    Path to the ceph configuration file to use (string value)

    images_rbd_ceph_conf = /etc/ceph/ceph.conf

这里以 Ceph RBD 为例,当 Libvirt 对接了 Ceph RBD Backend,那么虚拟机的磁盘文件不再存放到计算节点本地,Ceph 通过精简配置的快照复制(snapshotted-cloned)卷(又称快照链接)来帮助 Libvirt 快速启动虚拟机,虚拟机的数据变更通过 rbd 协议写入 Ceph 块存储。此时的 instances_path 目录作为 console.log、disk.info、Ephemeral file、Swap file 的存放路径。可见 Ephemeral file、Swap file 总是 Local 的,会随着虚拟机的删除而完全销毁,除非特殊需求,否则不建议使用。

[root@localhost ~]# ll /opt/stack/data/nova/instances/9b17609e-13b8-448d-a225-e69b797e83c4/
total 416
-rw-------. 1 root  root      18067 Mar 21 12:08 console.log
-rw-r--r--. 1 qemu  qemu     196624 Mar 21 12:07 disk.eph0
-rw-r--r--. 1 stack libvirtd    181 Mar 21 12:07 disk.info
-rw-r--r--. 1 qemu  qemu     196616 Mar 21 12:07 disk.swap

当然还有一种场景,Nova 使用 NFS 后端存储来存放虚拟机磁盘文件。与 Ceph RBD 不同,NFS 以文件存储的方式 mount 到计算节点本地的(注:CephFS 也支持文件存储,这里以 NFS 为例)。e.g.

mount {nfs_server_ipaddr}:/instances /var/lib/nova/instances
chown -R nova:nova /var/lib/nova/instances
chmod 755 /var/lib/nova/instances

此时,虽然虚拟机磁盘文件存放到了后端存储,但对于 Libvirt 而言这些文件依旧是存放在本地文件系统上的,不需要通过特殊的协议访问,只是单纯的本地文件访问,所以我将这种存放形式归纳到 Local 行列。

QCOW2 镜像格式与 qemu-img 指令

QCOW2 是 QEMU-KVM 常用的 Image 格式,也是常见的虚拟机 disk_format。当采用 Local 磁盘文件存放方式时,Nova 通过 qemu-img 指令对此格式的磁盘文件进行管理。关于 qemu-img 指令的详细使用方式在 《QCOW2/RAW/qemu-img 概念浅析》中已经有过记录,这里不再赘述。

QCOW2 – QEMU copy-on-write format with a range of special features, including the ability to take multiple snapshots, smaller images on filesystems that don’t support sparse files, optional AES encryption, and optional zlib compression.

QCOW2 的特性

  • COW
  • 支持多重快照,又称链式快照
  • 占用更小的存储空间
  • AES 加密
  • zlib 压缩

其中我们关心 QCOW2 的 COW 特性,COW(Copy-On-Write,写时复制,或称即写即拷)是一种快照技术,更多的 COW 实现原理可以浏览《再谈 COW、ROW 快照技术》。简而言之,当使用 QCOW2 Image 创建虚拟机并且虚拟机的磁盘文件存放方式是 Local 的话,那么虚拟机 Root file 本质只是一个 QCOW2 Image 的快照链接,而非从 Glance download 到本地的 QCOW2 Image。与 Ceph RBD 类似的,这个快照链接同样用于记录 GuestOS 对磁盘的读写变更,Root file 会随着虚拟机的使用而膨胀,直到 Root file size 达到 Flavor Disk_GB 的上限为止。

EXAMPLE

[root@overcloud-ovscompute-0 instances]# qemu-img info 84603dbf-cf56-4c7d-b8a9-3ca83970682d/disk
image: 84603dbf-cf56-4c7d-b8a9-3ca83970682d/disk
file format: qcow2
virtual size: 10G (10737418240 bytes)
disk size: 30M
cluster_size: 65536
backing file: /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a
Format specific information:
    compat: 1.1
    lazy refcounts: false
    refcount bits: 16
    corrupt: false
    
[root@overcloud-ovscompute-0 instances]# qemu-img info 744a1c9f-705d-4294-89cf-dadbb1b6ca8c/disk
image: 744a1c9f-705d-4294-89cf-dadbb1b6ca8c/disk
file format: qcow2
virtual size: 10G (10737418240 bytes)
disk size: 30M
cluster_size: 65536
backing file: /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a
Format specific information:
    compat: 1.1
    lazy refcounts: false
    refcount bits: 16
    corrupt: false
    
[root@overcloud-ovscompute-0 instances]# qemu-img info /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a
image: /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a
file format: raw
virtual size: 8.0G (8589934592 bytes)
disk size: 881M

上述输出,两个虚拟机的根磁盘文件有着共同的 backing file /var/lib/nova/instances/_base/309eee24778f158af7ae57d8843e698d48f43d4a,这个文件才是从 Glance 拉到本地的 QCOW2 Image。所以,我更愿意将虚拟机磁盘文件称为 disk file,将 QCOW2 Image 称为 base file,两者的结合才是虚拟机在当前时刻的完整数据。这种利用了 QCOW2 特性的虚拟机磁盘文件处理方式的好处在于占用了更小的磁盘空间,但在虚拟机迁移场景中要引起注意,如果只是迁移 disk file 的话,将无法得到虚拟机的完整数据。
OpenStack 虚拟机的磁盘文件类型与存储方式

Initially the image is downloaded from glance and cached in libvirt base. We’ll consider the options for handling a qcow2 image stored in glance, as that format can be downloaded quite efficiently from glance as it supports compression, and image sparseness can be maintained. This article will focus on the flow and transformations in “libvirt base”, which is used to cache, preprocess and optionally back, VM disk images.

NOTE:Ephemeral file 和 Swap file 也一样,不做过多讨论。

随带一提,如果 Nova、Cinder、Glance 都使用了 Ceph RBD 后端存储。那么 Image 是以 RAW(裸数据)格式存储的,依赖 Ceph 块存储的 COW 特性来达到与 QCOW2 类似,甚至更完备的效果。

参考文章

https://www.cnblogs.com/sammyliu/p/4462718.html

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这