Mysql复制方式(半同步复制,并行复制,多源复制)

极客溯光者
• 阅读 185

 Mysql复制方式(半同步复制,并行复制,多源复制)

一、MySQL主从复制(异步复制,默认)

Mysql主从复制原理

Mysql的复制原理大致如下:

1.主库记录binlog日志

在每次准备提交事务完成数据更新前,主库将数据更新的事件记录到二进制日志binlog中。主库上的sync_binlog参数控制binlog日志刷新到磁盘。

2.从库IO线程将主库的binlog日志复制到其本地的中继日志relay log中

从库会启动一个IO线程,IO线程会跟主库建立连接,然后主库会启动一个特殊的二进制转储线程(binlog dump),二进制转储线程会读取主库上binlog中的事件,它不会一直对事件进行轮询,当它追赶上了主库就会进入睡眠状态,直到主库发送信号量通知其有新事件产生才会被唤醒。

3.从库的SQL线程进行重放

从库的SQL线程从中继日志relay log中读取事件并在从库执行,从而实现从库数据的更新。

 Mysql复制方式(半同步复制,并行复制,多源复制)

需要注意的是:主库上并发的修改操作在从库上只能串行化执行,因为只有一个SQL线程来重放中继日志,这也是很多工作负载的性能瓶颈所在。虽然有一些针对你该问题的解决方案,但大多数用户仍然受制于单线程。在老版本的mysql中,IO线程是单线程的,但新版本IO线程也可以是多线程的,但无论怎样,SQL线程是单线程的。

二、半同步复制(Semisynchronous Replication)

1.主从延迟导致数据丢失

Mysql5.5之前的复制是异步的,主库和从库的数据有一定的延迟,这样就存在一个问题:当主库上写入一个事务并提交成功,而从库尚未收到主库推送的binlog日志,如果此时主库宕机造成主库上的事务binlog丢失,此时从库就可能损失这个事务,从而造成主从不一致。为了解决这个问题,Mysql5.5引入了半同步复制机制。

2.半同步复制

官方文档:17.3.8 Semisynchronous Replication

半同步复制是从Mysql5.5版本开始,以插件的形式支持的,默认情况下是关闭的,使用时需在配置中打开。

Mysql默认的复制是异步的,主库在将事件写入binlog后即成功返回客户端,但并不知道从库是否以及何时会获取和处理日志。而至于半同步复制,主库在提交后执行事务提交的线程将一直等待,直到至少有一个半同步从库确认已接收到所有事件,从库仅在将事件写入其中继日志(relay log)并刷新到磁盘后,才对接收到事务的事件进行确认。此时,主库收到确认后才会对客户端进行响应。半同步复制保证了事务成功提交后,至少有两份日志记录,一份在主库的binlog上,另一份在至少一个从库的中继日志relay log上,这样就进一步保证了数据的完整性。

 Mysql复制方式(半同步复制,并行复制,多源复制)

图中步骤①②③中任何一个步骤中主库宕机,则事务并未提交成功,从库也没有收到事务对应的binlog日志,所以主从数据是一致的。

需要注意的是:

(1)主库和从库都要启用半同步复制才会进行半同步复制功能,否则主库会还原为默认的异步复制。

(2)当主库等待超时时,也会还原为默认的异步复制。当至少有一个从库赶上时,主库会恢复到半同步复制。

三、并行复制(多线程复制,multi-threaded slave)

1.主从延迟问题

由于主库上可以多客户端并发的写入,当主库的TPS较高时,由于从库的SQL线程是单线程的,导致从库处理速度可能会跟不上主库的处理速度,从而造成了延迟。

主库并发达到1000/s时,从库的延时会有几毫秒,几乎可以忽略。
主库并发达到2000/s时,从库的延时会有几十毫秒。
主库并发达到4000/s,6000/s,8000/s时,此时主库的压力很大,都快挂了。从库的延时会达到几秒。

上面的只是经验值,但是是在合理的范围内。(来源于中华石杉)

可以通过监控 show slave status 命令输出的Seconds_Behind_Master参数的值来检测主从延时:

  • NULL:表示io_thread或是sql_thread有任何一个发生故障;
  • 0:该值为零,表示主从复制良好;
  • 正值:表示主从已经出现延时,数字越大表示从库延迟越严重。

2.并行复制

所谓并行复制,指的是从库开启多个SQL线程,并行读取relay log中不同库的日志,然后并行重放不同库的日志,这是库级别的并行。

Mysql5.6中的并行复制

MySQL 5.5版本不支持并行复制。MySQL 5.6版本开始支持并行复制,但是其并行只是基于schema的,也就是基于库的。当有多个库时多个库可以并行进行复制,而库与库之间互不干扰。但多数情况下,可能只有单schema,即只有单个库,那基于schema的复制就没什么用了。

其核心思想是:不同schema下的表并发提交时的数据不会相互影响,即slave节点可以用对relay log中不同的schema各分配一个类似SQL功能的线程,来重放relay log中主库已经提交的事务,保持数据与主库一致。

只需设置参数slave_parallel_workers即可开启并行复制,例如设置 slave_parallel_workers= 4,即有4个SQL Thread(coordinator线程)来进行并行复制。

Mysql5.7中的并行复制

而MySQL 5.7版本对并行复制进一步改进,已经支持“真正”的并行复制功能,是基于组提交的并行复制,官方称为enhanced multi-threaded slave(简称MTS),复制延迟问题已经得到了极大的改进。

其核心思想:一个组提交的事务都是可以并行回放(配合binary log group commit);slave机器的relay log中 last_committed相同的事务(sequence_num不同)可以并发执行。

通过设置参数slave_parallel_workers>0并且global.slave_parallel_type=‘LOGICAL_CLOCK’,即可支持一个schema下,slave_parallel_workers个的worker线程并发执行relay log中主库提交的事务。

3. ★踩坑案例(主从延迟问题解决方法)

其实这块东西我们经常会碰到,就比如说用了mysql主从架构之后,可能会发现,刚写入库的数据结果没查到,结果就完蛋了。。。。
所以实际上你要【考虑好应该在什么场景下来用这个mysql主从同步,建议是一般在读远远多于写,而且读的时候一般对数据时效性要求没那么高的时候,才用mysql主从同步】
所以这个时候,我们可以考虑的一个事情就是,【你可以用mysql的并行复制,但问题是那是库级别的并行,所以有时候作用不是很大】
所以通常来说,对于那种写了之后立马就要保证可以查到的场景,【采用强制读主库的方式】,这样就可以保证你肯定的可以读到数据。【其实用一些数据库中间件是没问题的。】

一般来说,如果主从延迟较为严重:
1、架构层面:分库,将一个主库拆分为多个。比如将1个库拆为4个主库,每个主库的写并发就500/s,此时主从延迟可以忽略不计。
2、开启mysql支持的并行复制,多个库并行复制。但如果说某个库的写入并发就是特别高,单库写并发达到了2000/s,并行复制还是没意义。28法则,很多时候比如说,就是少数的几个订单表,写入了2000/s,其他几十个表10/s。
3、代码层面:重写代码。写代码的同学,要慎重。当时我们其实短期是让那个同学重写了一下代码,插入数据之后直接就更新,不要查询。
4、直连主库。如果确实存在插入后立马要求就查询到,然后根据结果(比如某个状态)反过来执行一些操作,则可以对这个查询设置【直连主库】。但不推荐这种方法,这么搞导致读写分离的意义就丧失了。

四、多源复制(Multi-Source Replication)

MySQL从5.7版本开始支持多源复制的。MySQL 5.7之前只能实现一主一从、一主多从或者多主多从的复制。如果想实现多主一从的复制,只能使用 MariaDB,但是 MariaDB 又与官方的 MySQL 版本不兼容。MySQL 5.7 开始支持了多主一从的复制方式,也就是多源复制。所以,多源复制至少需要两个Master和一个Slave。

 Mysql复制方式(半同步复制,并行复制,多源复制)

1.多源复制使用场景

  • 数据分析部门会需要各个业务部门的部分数据做数据分析,这个时候就可以用到多源复制把各个主数据库的数据复制到统一的数据库中。
  • 在从服务器进行数据汇总,如果我们的主服务器进行了分库分表的操作,为了实现后期的一些数据统计功能,往往需要把数据汇总在一起再统计。
  • 在从服务器对所有主服务器的数据进行备份,在MySQL 5.7之前每一个主服务器都需要一个从服务器,这样很容易造成资源浪费,同时也加大了DBA的维护成本,但MySQL 5.7引入多源复制,可以把多个主服务器的数据同步到一个从服务器进行备份。

2.配置多源复制

配置多源复制时,可以将主库配置为使用基于GTID的复制或基于binlog位置的复制。

官方文档:

Section 16.1.3.4, “Setting Up Replication Using GTIDs”

Section 16.1.2.1, “Setting the Replication Master Configuration”

总结:

mysql默认的复制是异步的,主库写入了binlog后就会返回给客户端,而无论从库是否复制成功。由于主从延迟,当主库挂掉时会造成数据丢失,为了解决数据丢失问题,引入了半同步复制机制。同时为了解决复制的性能问题,可以开启多线程并行复制。(mysql5.5不支持并行复制,mysql5.6开始支持基于schema的并行复制,mysql5.7则对5.6并行复制进行改进增强)

mysql的一主一/多从、双主都是一个复制源,而mysql5.7多源复制则允许多个mssql同时对一个从库进行复制。

 Mysql复制方式(半同步复制,并行复制,多源复制)

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Wesley13 Wesley13
4年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
梦
5年前
微信小程序new Date()转换时间异常问题
微信小程序苹果手机页面上显示时间异常,安卓机正常问题image(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/b691e1230e2f15efbd81fe11ef734d4f.png)错误代码vardate'2021030617:00:00'vardateT
Johnny21 Johnny21
4年前
MySQL 8 复制(二)——半同步复制
目录一、简介直到目前的最新版本为止,MySQL缺省依然使用异步复制策略。简单说所谓异步复制,指的是主库写二进制日志、从库的I/O线程读主库的二进制日志写本地中继日志、从库的SQL线程重放中继日志,这三步操作都是异步进行的。如此选择的主要理由是出于性能考虑,与同步复制相比,异步复制显然更快,同时能承载更高的吞吐量。但异
Johnny21 Johnny21
4年前
MySQL 5.7新特性:并行复制原理
众所周知,MySQL的复制延迟是一直被诟病的问题之一,在MySQL5.7版本已经支持“真正”的并行复制功能,官方称为为enhancedmultithreadedslave(简称MTS),因此复制延迟问题已经得到了极大的改进。总之,MySQL5.7版本后,复制延迟问题永不存在。一、MySQL5.6并行复制架构从MySQL5.6.3版本开始
Stella981 Stella981
4年前
SpringBoot学习:整合shiro自动登录功能(rememberMe记住我功能)
首先在shiro配置类中注入rememberMe管理器!复制代码(https://oscimg.oschina.net/oscnet/675f5689159acfa2c39c91f4df40a00ce0f.gif)/cookie对象;rememberMeCookie()方法是设置Cookie的生成模
Wesley13 Wesley13
4年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Easter79 Easter79
4年前
SpringBoot学习:整合shiro自动登录功能(rememberMe记住我功能)
首先在shiro配置类中注入rememberMe管理器!复制代码(https://oscimg.oschina.net/oscnet/675f5689159acfa2c39c91f4df40a00ce0f.gif)/cookie对象;rememberMeCookie()方法是设置Cookie的生成模
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
2年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这