企业级微服务实战(八)

Docker 存储剖析与实战 1

1. Docker 数据存储

通过前面的学习,我们知道容器是基于镜像来启动并运行的,而镜像是分层的且只读的,我们无法对其做任何数据修改,而我们在运行容器时生成或者创建的数据也只是存储在容器里面,即所谓的“读写层”(如下图),容器里的数据在关闭或者重启容器时不受影响,但是一旦我们删除了容器,里面所有的数据也会丢失,这对于需要持久性存储的应用几乎是致命的,比如 MySQL。那么如果我们想对某些数据做持久性存储,该如何解决呢?
image.png
针对数据的持久性存储,Docker 官方 提供了 数据卷 data volumes 的解决方案,这种方案最核心的原理是通过让容器使用数据卷的方式,完成从容器直接将数据写入到宿主机文件系统上("data volumes, which write directly to the host filesystem.")


2. 使用数据卷

数据卷的使用方式主要有以下两种(或者说三种,因为最后一种是将数据存储在宿主机内存中,而非文件系统中),下图展示了三种使用方式,我们依次来看下。
image.png

2.1 Volumes 方式

这种方式数据卷的存储位置由 docker 自动管理,默认在 /var/lib/docker/volumes/ 目录下,我们在挂载时不用指定宿主机的位置,只需要指定容器里的数据位置即可,如下(为了更好地演示数据卷,我把之前创建的容器全部删除了):
【启动容器并使用数据卷】

# [root@docker-server ~]# docker run --name demo1 -it --rm -v host_dir1:/data busybox:latest
/ #
/ # ls /
bin   data  dev   etc   home  proc  root  sys   tmp   usr   var

【查看挂载信息】
可以看到 data 目录已经挂载好了,其可使用空间等于宿主机上剩余的磁盘空间量,如下:

/ # df -h
Filesystem                Size      Used Available Use% Mounted on
overlay                  17.0G      1.9G     15.1G  11% /
tmpfs                    64.0M         0     64.0M   0% /dev
tmpfs                     1.8G         0      1.8G   0% /sys/fs/cgroup
/dev/mapper/centos-root
                         17.0G      1.9G     15.1G  11% /data
/dev/mapper/centos-root
                         17.0G      1.9G     15.1G  11% /etc/resolv.conf
/dev/mapper/centos-root
                         17.0G      1.9G     15.1G  11% /etc/hostname
/dev/mapper/centos-root
                         17.0G      1.9G     15.1G  11% /etc/hosts
# 省略其他信息

我们可以在宿主机上通过 docker [container] inspect 查看挂载信息(Mounts),如下:

        "Mounts": [
            {
                "Type": "volume",
                "Name": "host_dir1",
                "Source": "/var/lib/docker/volumes/host_dir1/_data",
                "Destination": "/data",
                "Driver": "local",
                "Mode": "z",
                "RW": true,
                "Propagation": ""
            }
        ],

可以看到宿主机目录 /var/lib/docker/volumes/host_dir1/_data 对应着容器中的 /data 位置,我们创建一个测试数据。
【创建测试数据】

/ # echo '<h1>Welcome to www.byte-edu.com</h1>' > data/index.html
/ # cat data/index.html
<h1>Welcome to www.byte-edu.com</h1>

数据可以正常写入,我们在宿主机上找到对应位置,并且修改该文件,看下容器中数据是否有变化。

[root@docker-server ~]# echo "Thank you" >> /var/lib/docker/volumes/host_dir1/_data/index.html
[root@docker-server ~]# cat /var/lib/docker/volumes/host_dir1/_data/index.html
<h1>Welcome to www.byte-edu.com</h1>
Thank you

在容器中查看

/ # cat /data/index.html
<h1>Welcome to www.byte-edu.com</h1>
Thank you
/ #
注意:对于容器挂载数据,其实就是相当于我们把宿主机上的一个文件或者目录挂载到容器中,宿主机和容器都可以对该数据进行修改,也就是说宿主机和容器看到的数据是一致的。

【删除容器并查看宿主机数据】
因为我们在创建容器时加了 --rm 选项,所以一旦我们退出容器,该容器就会自动删除。

/ # exit
[root@docker-server ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
[root@docker-server ~]# cat /var/lib/docker/volumes/host_dir1/_data/index.html
<h1>Welcome to www.byte-edu.com</h1>
Thank you
[root@docker-server ~]#

可以看到数据依然存在。
除此之外,我们还可以指定挂载的文件或者目录权限,如下:

[root@docker-server ~]# docker run --name demo1 -it --rm -v host_dir2:/data:ro busybox:latest
/ # ls -dl /data
drwxr-xr-x    2 root     root             6 Oct 21 15:02 /data
/ # echo '<h1>welcome to www.byte-edu.com</h1>' > /data/index.html
sh: can't create /data/index.html: Read-only file system

# 查看下挂载参数
/ # mount | grep '\/data'
/dev/mapper/centos-root on /data type xfs (ro,relatime,attr2,inode64,noquota)

但是需要注意:如果指定只读挂载,必须指定宿主机的源文件或者目录。如果不是只读挂载,其实是可以不知道宿主机源文件或者目录的,docker 会自动生成一个 volume ,并以该名称作为宿主机上的目录文件,如下:

# 启动容器并写入数据
[root@docker-server ~]#  docker run --name demo2 -it --rm -v /data busybox:latest
/ # ls /data/
/ # echo "<h1>Hello www.byte-edu.com</h1>" > /data/index.html
/ #

# [root@docker-server ~]# docker inspect demo2
        "Mounts": [
            {
                "Type": "volume",
                "Name": "dd5d6db33a45ba202a4dfc36b59b25bd76f1709fe11f780beb0b2a4d1cd7b815",
                "Source": "/var/lib/docker/volumes/dd5d6db33a45ba202a4dfc36b59b25bd76f1709fe11f780beb0b2a4d1cd7b815/_data",
                "Destination": "/data",
                "Driver": "local",
                "Mode": "",
                "RW": true,
                "Propagation": ""
            }
        ],
        
# 查看 volume 信息
[root@docker-server ~]# docker volume list
DRIVER              VOLUME NAME
local               dd5d6db33a45ba202a4dfc36b59b25bd76f1709fe11f780beb0b2a4d1cd7b815
local               host_dir1
local               host_dir2
[root@docker-server ~]# cat /var/lib/docker/volumes/dd5d6db33a45ba202a4dfc36b59b25bd76f1709fe11f780beb0b2a4d1cd7b815/_data/index.html
<h1>Hello www.byte-edu.com</h1>
[root@docker-server ~]#
2.2 Bind mounts 方式

其实 volumes 方式和 bind mounts 的挂载时使用的参数几乎一致,他们之间最大的区别是,volumes 的挂载源是由 docker 自行维护,而 bind mounts 方式则是由我们自己指定且必须是绝对路径,注意无论哪种方式,请确保源目录是运行 docker 进程用户的专属权限,如下:

[root@docker-server ~]# ls -ld /var/lib/docker/volumes/
drwx------ 5 root root 131 10月 21 23:09 /var/lib/docker/volumes/
可以看到 /var/lib/docker/volumes/ 仅有 docker 进程用户(这里是 root)才有权限访问,也就是其下的目录非 root 用户根本进入不了,这就在很大程度上保证了数据源的安全性!

【启动容器并挂载数据卷】

我们利用 bind mounts 的方式启动并挂载一个容器,如下:

[root@docker-server ~]# docker run --name demo3 --rm -it -v /host_data/:/data busybox:latest
/ # echo "<h1>Welcome to www.byte-edu.com</h1>" > /data/index.html
/ #

注意:宿主机上 /host_data/ 该目录原来不存在,可以自动创建。
【查看目录权限并测试数据】

[root@docker-server ~]# ls -ld /host_data/
drwxr-xr-x 2 root root 6 10月 21 23:21 /host_data/

[root@docker-server ~]# docker run --name demo3 --rm -it -v /host_data/:/data busybox:latest
/ # echo "<h1>Welcome to www.byte-edu.com</h1>" > /data/index.html
/ #

[root@docker-server ~]# cat /host_data/index.html
<h1>Welcome to www.byte-edu.com</h1>
[root@docker-server ~]#
可以看到这里的文件权限不是 700,但是数据的读写均是正常的,所以手动指定源位置时,我们一定要自己去修改目录权限,但是如果修改数据源权限,又可能导致容器里的其他用户使用出现问题,该怎么解决呢,我们在后面讨论。

【查看挂载信息】

[root@docker-server ~]# docker inspect demo3
            "Mounts": [
            {
                "Type": "bind",
                "Source": "/host_data",
                "Destination": "/data",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
可以看到类型 Type 是 bind。
【查看卷信息】
[root@docker-server ~]# docker volume ls
DRIVER              VOLUME NAME
local               dd5d6db33a45ba202a4dfc36b59b25bd76f1709fe11f780beb0b2a4d1cd7b815
local               host_dir1
local               host_dir2
[root@docker-server ~]#
没有我们通过 bind mounts 方式挂载的数据卷,也就是 docker volume ls 是无法查看我们手动指定的数据卷类型的。

bind mounts 其他的一些特性几乎跟 volumes 一致,比如只读挂载,数据的持久性特性等,我们此处不再赘述。

2.3 Tmpfs 方式

对于 tmpfs 挂载方式,是在宿主机内存中开辟一块空间供容器使用,这块空间随着容器的关闭而消失,一般用于存储一些 IO 要求极高比如 redis、memcached,或者较为敏感的数据。下面演示下其用法:
【启动一个容器使用 tmpfs 数据卷】

[root@docker-server ~]# docker run --name demo4 -it --rm --tmpfs /app busybox:latest
/ # mount | grep '/app'
tmpfs on /app type tmpfs (rw,nosuid,nodev,noexec,relatime)
/ # ls /app/
/ #

【测试内存使用】

# 宿主机当前内存使用情况
[root@docker-server ~]# free  -m
              total        used        free      shared  buff/cache   available
Mem:           3789         361        2274           8        1153        3138
Swap:          2047           0        2047

# 容器中写入数据
/ # dd if=/dev/zero of=/app/testfile bs=1M count=512
512+0 records in
512+0 records out
536870912 bytes (512.0MB) copied, 0.780642 seconds, 655.9MB/s
/ # ls -lh /app/testfile
-rw-r--r--    1 root     root      512.0M Oct 21 16:09 /app/testfile
/ #

# 再次查看宿主机内存使用情况
[root@docker-server ~]# free  -m
              total        used        free      shared  buff/cache   available
Mem:           3789         362        1760         520        1666        2626
Swap:          2047           0        2047
可以看到宿主机中的共享内存一列新增了 512M 左右的使用量,此时如果我们删除容器会发生什么情况呢?
# 删除容器
/ # exit
[root@docker-server ~]# docker ps | grep demo3
[root@docker-server ~]#

# 再次查看宿主机内存使用量
[root@docker-server ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           3789         326        2310           8        1153        3174
Swap:          2047           0        2047
[root@docker-server ~]#
可以看到共享内存随着容器的删除而销毁。

以上是 tmpfs 最常见的使用方式,当然,还有一个参数非常重要:tmpfs-size:指定使用内存的大小(单位 byte),默认没有限制,所以生产上使用一定要做限制,否则可能会严重影响到宿主机。
除此之外,还有使用 tmpfs-mode 参数来做挂载文件的权限设置,一般情况下都不使用。
另外,我们也可以使用 --mount 参数来指定挂载 tmpfs 类型存储,如下:

# 启动容器,使用 --mount 参数创建 tmpfs 数据卷
[root@docker-server ~]# docker run --name demo4 -it --rm --mount type=tmpfs,destination=/app,tmpfs-size=128000000 busybox:latest

# 查看挂载信息
/ # mount | grep '/app'
tmpfs on /app type tmpfs (rw,nosuid,nodev,noexec,relatime,size=125000k)

# 测试限额是否生效
/ # dd if=/dev/zero of=/app/testfile bs=1M count=128
dd: error writing '/app/testfile': No space left on device
123+0 records in
122+0 records out
128000000 bytes (122.1MB) copied, 0.086838 seconds, 1.4GB/s
/ # dd if=/dev/zero of=/app/testfile bs=1M count=120
120+0 records in
120+0 records out
125829120 bytes (120.0MB) copied, 0.098725 seconds, 1.2GB/s
注意:我们使用数据卷挂载可以使用 "-v|--volume" 都可以,但是在 "Docker 17.06" 版本之后又引入了 "--mount" 选项,也可以用于挂载数据卷。"--mount" 在之前是在 "docker swarm" 中使用的,现在也可以在单击中使用,使用语法跟 "-v|--volume" 不同,大家感兴趣的可以在官方文档上找到使用方法和示例,此处不演示。

我们同样可用使用 docker [container] inspect 命令进行查看,如下:

[root@docker-server ~]# docker inspect demo4
            "Mounts": [
                {
                    "Type": "tmpfs",
                    "Target": "/app",
                    "TmpfsOptions": {
                        "SizeBytes": 128000000
                    }
                }
            ],



注:更多技术博客请关注 字节教育官网,如果在学习或者自己实验的过程中遇到问题,及时与作者沟通。【QQ群 374106486】

评论

暂无评论