阿里新零售数据库设计与实战九,十,十一,十二

第9章 新零售平台的数据库集群 【入职BAT“必杀技”】

单节点数据库不具备三高特点(高并发、高冗余、高性能),所以就需要引入数据库集群方案来应对。本章的内容是带领,同学们搭建两种不同风格的MySQL集群。PXC集群+Replication集群,并利用MyCat中间件来管理这两种集群。

9-1. 数据库集群能解决什么问题?

clipboard.png
mysql最大连接数是1万6000多

clipboard.png

clipboard.png

clipboard.png
replation适合保存低价值的海量的数据,PXC适合保存高价值海量的数据,比如订单

clipboard.png

9-2 如何使用Docker虚拟机(一)

clipboard.png

clipboard.png

clipboard.png
安装vmware,再安装linux系统,再去安装docker

clipboard.png
前两者不支持虚拟IP

clipboard.png
SaaS 为客户提供完整的云端的产品,比如进销存,审批系统,购买云主机,就有各种系统
Paas 将各种软件安装到虚拟主机,出售软件的服务,适合中小型的技术企业

把程序部署到容器中

clipboard.png

clipboard.png

clipboard.png

clipboard.png
docker虚拟机的常用命令

clipboard.png
设置镜像加速器

clipboard.png
把最后的逗号去掉

clipboard.png

9-3 如何使用Docker虚拟机(二)

搜索jdk

clipboard.png
根据好评的start数目

clipboard.png
所以下载openjdk
下载openjdk的镜像

clipboard.png

clipboard.png

clipboard.png
创建容器

clipboard.png
退出容器

clipboard.png
查看容器的状态

clipboard.png
删除容器,查看容器的状态

clipboard.png
创建一个有目录映射的容器

clipboard.png
-v表示映射的关系 冒号前边的是宿主机的目录,后边的是容器对应的目录
我们要测试一个java的文件

clipboard.png
在宿主机相应目录创建相应文件,那么在容器中相应的容器中也创建了相应的文件

clipboard.png

clipboard.png
如果上边的命令有权限问题,可在挂载目录后边加上--privileged
clipboard.png
镜像导出成压缩文件

clipboard.png

clipboard.png
现在要删除镜像,删除镜像前要删除该镜像的容器
删除容器

clipboard.png
查看容器

clipboard.png

删除镜像

clipboard.png
再次查看镜像

clipboard.png
以下是导入镜像

clipboard.png

clipboard.png
docker镜像的改名

clipboard.png
删除原来的镜像

clipboard.png

clipboard.png
其中 -- name 表示容器的名称,-p前一部分表示宿主机的端口,后一部分表示docker的容器的端口; -v 前半部分表示宿主机的目录,后半部分表示docker容器的目录 --privileged表示分配最高权限 bash表示bash命令 如果要读些宿主机的文件的话,要加--privileged
clipboard.png

clipboard.png
docker容器退出命令行后docker exec -it java(容器名称) bash
进入容器的命令行的界面

9-4 分布式Docker环境

创建Swarm集群之后,不要再更换网络,否则会导致Swarm集群失效。比如说A同学在单位用笔记本连接WIFI,然后创建Swarm集群。晚上回到家,连接家里的WIFI信号,结果IP更新导致Swarm集群失效。
另外虚拟机必须要设置成桥接网络,很多同学创建虚拟机的时候默认使用NAT网络,这个就没法创建Swarm网络。切记切记!

clipboard.png

clipboard.png

clipboard.png

docker start i 容器名 表示切换到命令行
docker start 容器名 表示docker容器在后台执行
暂停容器

clipboard.png
查看当前容器的状态

clipboard.png
从暂停到运行容器
docker unpause 容器名 删除容器前先unpause docker

clipboard.png
容器停止然后删除容器

clipboard.png
关闭docker服务

clipboard.png
关掉vmware虚拟机

clipboard.png
在某个docker节点上执行以下命令

clipboard.png
开放2377端口
image.png
reload下防火墙 不然不生效
image.png
clipboard.png

clipboard.png
只有第一个节点是管理节点,其他的都是worker节点
强制删除运行中的docker节点
查看节点
clipboard.png

clipboard.png

clipboard.png
swarm只剩下管理节点

clipboard.png
管理节点不能自己删除了
必须在leader节点强制关闭集群

clipboard.png
集群解散又创建了

clipboard.png
此时在次节点执行加入集群的命令,会报错的原因是因为,次节点还以为还在原来的集群中呢,所以必须执行命令脱离原来的集群

clipboard.png
先脱离原来的集群

clipboard.png
然后次节点加入集群

clipboard.png

clipboard.png

clipboard.png
演示创建虚拟网络

clipboard.png
注意

clipboard.png
虚拟网络的删除

clipboard.png
查看虚拟网络

clipboard.png
创建分布式容器
正常创建的容器是本地的容器,加入--net=xxx 创建的是分布式容器
clipboard.png

9-5 搭建PXC集群

image.png
image.png
第一个问题
docker既没有虚拟硬件,也没有安装独立的操作系统
docker进程绑定了cpu和内存,在docker内部获取宿主机的分配硬件资源
docker直接使用宿主机的linux内核与底层的硬件交互
第二个问题
把容器的mysql目录映射到宿主机的文件的目录上,容器崩溃后,重新创建docker容器,把宿主机上的数据目录挂载一下就行了
image.png
image.png
image.png
上一节说开放了管理节点的2377端口,这些还不够。2377端口只是让其他节点加入到swamp集群中,swamp集群中虚拟网路相互通信的端口是7946和4789两个端口,并且这两个端口要开房tcp和udp协议
在管理节点上执行开放端口的指令
image.png
在其他节点
image.png
在每个节点重启docker服务
image.png
下载pxc镜像
image.png
如果嫌弃镜像的名字太长,那么使用tag命令
建议下载pxc5.7.2.1的镜像
docker pull percona/percona-xtradb-cluster:5.7.21
docker tag percona/percona-xtradb-cluster:5.7.21 pxc
docker rmi percona/percona-xtradb-cluster:5.7.21
下载镜像
image.png
修改镜像的姓名
image.png
查看docker里边存在的镜像
image.png
创建主节点容器
image.png
执行创建的命令
image.png
navicat连接主节点
image.png
image.png
创建第一个pxc的从节点
image.png
使用navicat查看从节点的连接
image.png

9-6 管理Docker数据卷

数据卷的机制 创建pxc集群的时候挂载了数据卷,相当于虚拟的磁盘,容器中的mysql将数据保存在数据卷中,那么我们在宿主机上就能看到这些数据,即便容器挂掉了,数据还是存在的
数据卷可以挂载多个容器,单目录不能;并且pxc集群只能挂载数据卷
image.png
image.png
其中第五个指令就是查看数据卷挂载到宿主机的哪个目录中
查看管理节点的数据卷的详情
image.png
查看数据卷在宿主机对应的位置下的文件
image.png
比如上图中的demo文件夹,则对应了创建的demo数据库
创建数据卷
image.png
删除数据卷
image.png
删除后数据卷没有了
image.png
上图这个默认数据卷是默认给容器挂载的,不删除容器的情况下不能删除数据卷
image.png
上图是查找那些没有挂载的数据卷

9-7 PXC集群的注意事项

image.png
image.png
比如a,b两个节点组成的pxc集群,开始的时候a是主节点,b是从节点,
a先退出,然后b最后退出
pxc数据库认为,最后退出的节点的数据应该是最新的,所以下次再启动的时候
但是docker不允许更换容器启动命令
image.png
解决办法如下图
image.png
在首次关闭的过程中
a容器的safe_to_boostarp=0,同时b容器的safe_to_bootstrap的参数是1(pxc将最后一个关闭的节点的该参数改为1)
解决闪退的办法是将当前b节点的该参数改为0,同时将a节点的该参数改为1,;然后先启动a节点,后启动b节点
此外还有一种方法,将a,b两个节点删除,然后创建两个新的节点a1,b1,分别挂载原来a,b的数据卷,然后b1节点以主节点的方式启动,a1节点以从节点的方式启动
image.png
image.png
image.png
最后关闭pn2节点,然后启动pn2节点
image.png
查看pn2节点的数据卷的目录
image.png
image.png
查看pn2的grastate.dat
image.png
看上图,如果我们直接是在linux系统之上运行pxc节点的话,safe_to_bootstrap是1,但是pancorna公司在镜像上加了一段脚本,如果最后退出的是如果是从节点,那么该参数不会改成1,因为该节点不能以主节点的方式启动
查看原来主节点的配置文件
image.png
image.png
看到了主节点的safe_to_bootstrap的参数为0
把主节点的safe_to_bootstrap改为1
image.png
启动主节点a
image.png
启动pn2节点,然后查看状态
image.png
启动pn3节点
image.png
启动pn4节点
image.png
此外还有主节点闪退的问题
比如断电 或者笔记本突然关闭,必须要把主节点的safe_to_bootstrap的参数改成1
image.png
image.png
上图的意思是集群中只有主节点a是闪退的,那么先把a节点的safe_to_bootstrap参数改为0,创建容器的时候,别忘了挂载数据卷。让该新从节点重新加入集群
image.png
上图中b节点创建的时候是通过连接a节点加入的,创建c节点的时候通过连接b节点就行,创建的时候保证b节点在运行~~

9-8 搭建PXC集群分片

image.png
image.png
image.png
使用mycat管理分片
image.png
一个分片就是一个小的pxc集群
已有的pxc集群
image.png

9-9 搭建Replication集群

搭建replation集群的原理
image.png
从上图可以看出数据同步是单向的
image.png
查看可以使用的replacation的镜像
image.png
image.png
image.png
设计搭建的虚拟主机的replacation的方案
image.png
搭建主节点
image.png
测试数据库连接
image.png
创建从节点
image.png
从节点数据库连接测试
image.png
上边图中
MYSQL_MASTER_HOST表示从节点容器连接哪一个主节点容器
MYSQL_MASTER_HOST表示数据库的端口
MYSQL_ROOT_PASSWORD表示数据库的初始密码
MYSQL_REPLACATION_USER表示主从同步的用户名
MYSQL_REPLACATION_PASSWORD表示主从同步的用户名
rnv(1):/var/lib/mysql表示挂载的数据卷名以及对应的宿主机的目录
swamp_mysql表示虚拟网络
rep表示容器镜像的名字

9-10 Replication集群的注意事项

image.png
比如关闭主节点
image.png
主节点意外关闭的情况下,从节点还可以使用的,这时候主从同步的机制没有了
关闭从节点的容器,然后启动从节点的容器,此时从节点的数据库依然可以连接
image.png
image.png
出现主从同步失效的问题,把主节点启动下就行了
replaction集群的正常运行必须是主节点启动,数据从主节点插入

9-11 搭建Replication集群分片

image.png
集群分片
image.png
image.png

9-12 本章总结

image.png

第10章 新零售数据库分库分表的N种姿势与容灾备份【“装逼”很适合】

10-1 垂直切分与水平切分 (12:17)

image.png
垂直切分是用来降低数据库负载的
水平切分是用来缩表的
image.png
image.png
image.png
image.png
image.png
mysql的水平切分的数据表可以在一个节点也可以在多个节点
image.png
增加一个分片需要4-8个数据库节点
image.png
image.png
image.png
不要轻易做垂直切分,先做水平切分

10-2 安装MyCat (13:54)

image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
加入it参数的原因是让容器在后台运行不要退出
--net=host表示使用的是宿主机的网络 不能使用swarm网络
image.png
因为mycat使用8066和9066两个端口
前者是跟执行各种sql指令有关 后者是获取mycat运行状态的信息
image.png
防火墙reload以后docker服务必须重启
图中四个主机的docker服务必须重启,重启的时候注意更改主句的gradstate,再以此启动
获取数据卷的挂载的位置
image.png
解压mycat安装包
image.png
将mycat压缩包上传到gaimul![image.png](/img/bV该目录中
image.png
上图表示mycat压缩包存在于容器里边了

10-3 配置PXC集群负载均衡 (21:03)

mycat1节点挂掉以后,有一个备用的节点
image.png
image.png
image.png
配置文件的含义
server.xml
schema.xml
配置数据库连接的,以及数据表使用什么方式的切分规则
rule.xml
可以自定义切分的规则
底层的切分规则mycat已经帮你做了
image.png
image.png
image.png
其中pxc1是别名,maxCon连接池的最大连接数,minCon表示连接池的最小连接数。balance=0表示不使用读写分离,writeType=1表示读写请求随机发送给可以使用的写节点switchType=1表示mycat会自动通过心跳检测判断哪个数据库节点宕机了,dbType=mysql表示数据库是mysql,dbDriver的值是数据库驱动
WriteHost中host表示节点的别名,
进入mycat的数据卷
image.png
image.png
image.png
添加虚拟逻辑库
image.png
image.png
image.png
搭建第二个的pxc的集群
image.png

10-4 配置Replication读写分离 (13:54)

image.png
主从双机热备是比较良好的形式,这样的话某个主节点宕机的情况下,会读取另外一个主节点的从节点
image.png
一写挂三读的replacation的集群
image.png
另外一个主从同步的集群
image.png
image.png

10-5 配置虚拟库和虚拟表 (19:54)

image.png
image.png

10-6 启动MyCat (17:16)

10-7 MyCat实现水平切分和垂直切分 (05:44)

10-8 什么是全局表 (05:38)

10-9 水平切分规则:主键求模 (10:24)

10-10 水平切分规则:枚举值 (22:16)

10-11 避免跨分片表连接:父子表 (21:59)

10-12 全局主键 (20:18)

10-13 本章总结 (03:32)

第11章 课程终章【再不舍得大家,也到了说再见的时候了】

11-1 集群环境下的新零售数据库 (08:22)

11-2 课程总结 (08:58)

第12章 新零售数据库在双十一不down机的秘诀?【资格不足,还请继续努力】

12-1 MyCat双机热备方案(一) (21:08)

12-2 MyCat双机热备方案(二) (20:09)

12-3 使用Portainer管理Docker (19:56)

12-4 Binlog日志文件的重要性 (18:42)

12-5 主从同步的原理 (11:17)

12-6 高可用Replication集群(一) (17:47)

12-7 高可用Replication集群(二) (16:53)

12-8 高可用Replication集群(三) (08:31)

评论

暂无评论