阿里新零售数据库设计与实战九,十,十一,十二
文章目录
第9章 新零售平台的数据库集群 【入职BAT“必杀技”】
单节点数据库不具备三高特点(高并发、高冗余、高性能),所以就需要引入数据库集群方案来应对。本章的内容是带领,同学们搭建两种不同风格的MySQL集群。PXC集群+Replication集群,并利用MyCat中间件来管理这两种集群。
9-1. 数据库集群能解决什么问题?

mysql最大连接数是1万6000多



replation适合保存低价值的海量的数据,PXC适合保存高价值海量的数据,比如订单

9-2 如何使用Docker虚拟机(一)



安装vmware,再安装linux系统,再去安装docker

前两者不支持虚拟IP

SaaS 为客户提供完整的云端的产品,比如进销存,审批系统,购买云主机,就有各种系统
Paas 将各种软件安装到虚拟主机,出售软件的服务,适合中小型的技术企业
把程序部署到容器中




docker虚拟机的常用命令

设置镜像加速器

把最后的逗号去掉

9-3 如何使用Docker虚拟机(二)
搜索jdk

根据好评的start数目

所以下载openjdk
下载openjdk的镜像



创建容器

退出容器

查看容器的状态

删除容器,查看容器的状态

创建一个有目录映射的容器

-v表示映射的关系 冒号前边的是宿主机的目录,后边的是容器对应的目录
我们要测试一个java的文件

在宿主机相应目录创建相应文件,那么在容器中相应的容器中也创建了相应的文件


如果上边的命令有权限问题,可在挂载目录后边加上--privileged
镜像导出成压缩文件


现在要删除镜像,删除镜像前要删除该镜像的容器
删除容器

查看容器

删除镜像

再次查看镜像

以下是导入镜像


docker镜像的改名

删除原来的镜像


其中 -- name 表示容器的名称,-p前一部分表示宿主机的端口,后一部分表示docker的容器的端口; -v 前半部分表示宿主机的目录,后半部分表示docker容器的目录 --privileged表示分配最高权限 bash表示bash命令 如果要读些宿主机的文件的话,要加--privileged

docker容器退出命令行后docker exec -it java(容器名称) bash
进入容器的命令行的界面
9-4 分布式Docker环境
创建Swarm集群之后,不要再更换网络,否则会导致Swarm集群失效。比如说A同学在单位用笔记本连接WIFI,然后创建Swarm集群。晚上回到家,连接家里的WIFI信号,结果IP更新导致Swarm集群失效。
另外虚拟机必须要设置成桥接网络,很多同学创建虚拟机的时候默认使用NAT网络,这个就没法创建Swarm网络。切记切记!



docker start i 容器名 表示切换到命令行
docker start 容器名 表示docker容器在后台执行
暂停容器

查看当前容器的状态

从暂停到运行容器
docker unpause 容器名 删除容器前先unpause docker

容器停止然后删除容器

关闭docker服务

关掉vmware虚拟机

在某个docker节点上执行以下命令

开放2377端口
reload下防火墙 不然不生效


只有第一个节点是管理节点,其他的都是worker节点
强制删除运行中的docker节点
查看节点


swarm只剩下管理节点

管理节点不能自己删除了
必须在leader节点强制关闭集群

集群解散又创建了

此时在次节点执行加入集群的命令,会报错的原因是因为,次节点还以为还在原来的集群中呢,所以必须执行命令脱离原来的集群

先脱离原来的集群

然后次节点加入集群



演示创建虚拟网络

注意

虚拟网络的删除

查看虚拟网络

创建分布式容器
正常创建的容器是本地的容器,加入--net=xxx 创建的是分布式容器
9-5 搭建PXC集群


第一个问题
docker既没有虚拟硬件,也没有安装独立的操作系统
docker进程绑定了cpu和内存,在docker内部获取宿主机的分配硬件资源
docker直接使用宿主机的linux内核与底层的硬件交互
第二个问题
把容器的mysql目录映射到宿主机的文件的目录上,容器崩溃后,重新创建docker容器,把宿主机上的数据目录挂载一下就行了


上一节说开放了管理节点的2377端口,这些还不够。2377端口只是让其他节点加入到swamp集群中,swamp集群中虚拟网路相互通信的端口是7946和4789两个端口,并且这两个端口要开房tcp和udp协议
在管理节点上执行开放端口的指令
在其他节点
在每个节点重启docker服务
下载pxc镜像
如果嫌弃镜像的名字太长,那么使用tag命令
建议下载pxc5.7.2.1的镜像
docker pull percona/percona-xtradb-cluster:5.7.21
docker tag percona/percona-xtradb-cluster:5.7.21 pxc
docker rmi percona/percona-xtradb-cluster:5.7.21
下载镜像
修改镜像的姓名
查看docker里边存在的镜像
创建主节点容器
执行创建的命令
navicat连接主节点

创建第一个pxc的从节点
使用navicat查看从节点的连接
9-6 管理Docker数据卷
数据卷的机制 创建pxc集群的时候挂载了数据卷,相当于虚拟的磁盘,容器中的mysql将数据保存在数据卷中,那么我们在宿主机上就能看到这些数据,即便容器挂掉了,数据还是存在的
数据卷可以挂载多个容器,单目录不能;并且pxc集群只能挂载数据卷

其中第五个指令就是查看数据卷挂载到宿主机的哪个目录中
查看管理节点的数据卷的详情
查看数据卷在宿主机对应的位置下的文件
比如上图中的demo文件夹,则对应了创建的demo数据库
创建数据卷
删除数据卷
删除后数据卷没有了
上图这个默认数据卷是默认给容器挂载的,不删除容器的情况下不能删除数据卷
上图是查找那些没有挂载的数据卷
9-7 PXC集群的注意事项


比如a,b两个节点组成的pxc集群,开始的时候a是主节点,b是从节点,
a先退出,然后b最后退出
pxc数据库认为,最后退出的节点的数据应该是最新的,所以下次再启动的时候
但是docker不允许更换容器启动命令
解决办法如下图
在首次关闭的过程中
a容器的safe_to_boostarp=0,同时b容器的safe_to_bootstrap的参数是1(pxc将最后一个关闭的节点的该参数改为1)
解决闪退的办法是将当前b节点的该参数改为0,同时将a节点的该参数改为1,;然后先启动a节点,后启动b节点
此外还有一种方法,将a,b两个节点删除,然后创建两个新的节点a1,b1,分别挂载原来a,b的数据卷,然后b1节点以主节点的方式启动,a1节点以从节点的方式启动


最后关闭pn2节点,然后启动pn2节点
查看pn2节点的数据卷的目录

查看pn2的grastate.dat
看上图,如果我们直接是在linux系统之上运行pxc节点的话,safe_to_bootstrap是1,但是pancorna公司在镜像上加了一段脚本,如果最后退出的是如果是从节点,那么该参数不会改成1,因为该节点不能以主节点的方式启动
查看原来主节点的配置文件

看到了主节点的safe_to_bootstrap的参数为0
把主节点的safe_to_bootstrap改为1
启动主节点a
启动pn2节点,然后查看状态
启动pn3节点
启动pn4节点
此外还有主节点闪退的问题
比如断电 或者笔记本突然关闭,必须要把主节点的safe_to_bootstrap的参数改成1

上图的意思是集群中只有主节点a是闪退的,那么先把a节点的safe_to_bootstrap参数改为0,创建容器的时候,别忘了挂载数据卷。让该新从节点重新加入集群
上图中b节点创建的时候是通过连接a节点加入的,创建c节点的时候通过连接b节点就行,创建的时候保证b节点在运行~~
9-8 搭建PXC集群分片



使用mycat管理分片
一个分片就是一个小的pxc集群
已有的pxc集群
9-9 搭建Replication集群
搭建replation集群的原理
从上图可以看出数据同步是单向的
查看可以使用的replacation的镜像


设计搭建的虚拟主机的replacation的方案
搭建主节点
测试数据库连接
创建从节点
从节点数据库连接测试
上边图中
MYSQL_MASTER_HOST表示从节点容器连接哪一个主节点容器
MYSQL_MASTER_HOST表示数据库的端口
MYSQL_ROOT_PASSWORD表示数据库的初始密码
MYSQL_REPLACATION_USER表示主从同步的用户名
MYSQL_REPLACATION_PASSWORD表示主从同步的用户名
rnv(1):/var/lib/mysql表示挂载的数据卷名以及对应的宿主机的目录
swamp_mysql表示虚拟网络
rep表示容器镜像的名字
9-10 Replication集群的注意事项

比如关闭主节点
主节点意外关闭的情况下,从节点还可以使用的,这时候主从同步的机制没有了
关闭从节点的容器,然后启动从节点的容器,此时从节点的数据库依然可以连接

出现主从同步失效的问题,把主节点启动下就行了
replaction集群的正常运行必须是主节点启动,数据从主节点插入
9-11 搭建Replication集群分片

集群分片

9-12 本章总结

第10章 新零售数据库分库分表的N种姿势与容灾备份【“装逼”很适合】
10-1 垂直切分与水平切分 (12:17)

垂直切分是用来降低数据库负载的
水平切分是用来缩表的




mysql的水平切分的数据表可以在一个节点也可以在多个节点
增加一个分片需要4-8个数据库节点


不要轻易做垂直切分,先做水平切分
10-2 安装MyCat (13:54)









加入it参数的原因是让容器在后台运行不要退出
--net=host表示使用的是宿主机的网络 不能使用swarm网络
因为mycat使用8066和9066两个端口
前者是跟执行各种sql指令有关 后者是获取mycat运行状态的信息
防火墙reload以后docker服务必须重启
图中四个主机的docker服务必须重启,重启的时候注意更改主句的gradstate,再以此启动
获取数据卷的挂载的位置
解压mycat安装包
将mycat压缩包上传到gaimul
上图表示mycat压缩包存在于容器里边了
10-3 配置PXC集群负载均衡 (21:03)
mycat1节点挂掉以后,有一个备用的节点


配置文件的含义
server.xml
schema.xml
配置数据库连接的,以及数据表使用什么方式的切分规则
rule.xml
可以自定义切分的规则
底层的切分规则mycat已经帮你做了


其中pxc1是别名,maxCon连接池的最大连接数,minCon表示连接池的最小连接数。balance=0表示不使用读写分离,writeType=1表示读写请求随机发送给可以使用的写节点switchType=1表示mycat会自动通过心跳检测判断哪个数据库节点宕机了,dbType=mysql表示数据库是mysql,dbDriver的值是数据库驱动
WriteHost中host表示节点的别名,
进入mycat的数据卷


添加虚拟逻辑库


搭建第二个的pxc的集群
10-4 配置Replication读写分离 (13:54)

主从双机热备是比较良好的形式,这样的话某个主节点宕机的情况下,会读取另外一个主节点的从节点
一写挂三读的replacation的集群
另外一个主从同步的集群

10-5 配置虚拟库和虚拟表 (19:54)


评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论