MySQL实战—更新过程

Wesley13
• 阅读 515

和查询流程不同的是,更新流程涉及两个重要的日志模块:redo log(重做日志)和 binlog(二进制日志)。

redo log

redo log通常是物理日志,记录的是数据页的物理修改,而不是某一行或某几行的修改,它用来恢复提交后的物理数据页(恢复数据页,且只能恢复到最后一次提交的位置)。

如果MySQL每一次的更新操作都需要写进磁盘,整个过程IO成本会很高。使用redo log能提升更新效率,即WAL技术。

WAL

  • Write-Ahead Logging
  • 先写日志,再写磁盘

更新记录

  • InnoDB引擎先把记录写到redo log里面,并更新内存
  • InnoDB会在适当的时候,比如系统空闲时,将操作记录更新到磁盘里

在相同的数据量下,采用WAL的数据库系统在事务提交时,磁盘写操作只有传统的回滚日志的一半左右,大大提高了数据库磁盘IO操作的效率,从而提高了数据库的性能。

redo log

redo log大小固定,可配

  • 是InnoDB引擎的日志
  • 比如一组4个文件,每个文件大小1GB
  • 从头开始写,写到末尾又回到开始循环写
  • write pos是当前记录的位置,一边写一边后移,写到第 3 号文件末尾后就回到 0 号文件开头
  • checkpoint是当前要擦除的位置,也是往后推移并且循环的,擦除记录前要把记录更新到数据文件
  • write pos和checkpoint之间是可写部分,用来记录新的操作
  • 如果write pos追上Checkpoint,表示没有可写位置了,此时不能执行新的更新,需要停下来擦掉一些记录(将记录更新到磁盘),将checkpoint向前推进

MySQL实战—更新过程

crash-safe

  • 通过redo log,InnoDB保证即使数据库发生异常重启,之前提交的记录都不会丢失,这个能力称为crash-safe

更新过程

以下述操作为例。

mysql> create table T(ID int primary key, c int);
mysql> update T set c=c+1 where ID=2;
  • 执行器通过引擎取ID=2这一行。

    • ID是主键,引擎直接用树搜索找到这一行
    • 如果ID=2这一行所在的数据页本来就在内存中,就直接返回给执行器;
    • 否则,需要先从磁盘读入内存,然后再返回。
  • 执行器将引擎返回的行数据的这个值加1,即N变成N+1,得到新的一行数据,再调用引擎接口写入新行。

  • 引擎将这行新数据更新到内存中,同时将这个更新操作记录到redo log里,此时redo log处于prepare状态。然后告知执行器执行完成了,随时可以提交事务。

  • 执行器生成这个操作的binlog,并把binlog写入磁盘。

  • 执行器调用引擎的提交事务接口,引擎把刚写入的redo log改成提交(commit)状态,更新完成。

执行流程如下图。浅色步骤在InnoDB内部执行,深色步骤在执行器中执行。

MySQL实战—更新过程

binlog

binlog,即二进制日志,是一个二进制文件,记录了对数据库执行更新的所有操作,并且记录了语句发生时间、执行时长、操作数据等信息。但不记录SELECT、SHOW等查询SQL语句。

二进制日志主要用于数据恢复和主从复制,及审计操作。

  • max_binlog_size:日志文件大小上限,二进制日志文件后缀名会由 mysql 自动拼接数字,达到此参数设置大小则写入另一个文件,同时后缀 + 1,所以在设置 log-bin 参数时仅填写路径和文件名即可,后缀名省略

是否开启binlog

log-bin:设置日志文件的位置,设置此参数同时开启日志记录,默认放在 mysql data目录下

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.02 sec)

查看binlog

binlog不能直接查看。可以通过官方提供的mysqlbinlog工具查看。

  • 确认日志位置

    mysql> show master logs; +------------------+-----------+ | Log_name | File_size | +------------------+-----------+ | mysql-bin.000120 | 47533445 | | mysql-bin.000121 | 57556996 | | mysql-bin.000122 | 190963566 | +------------------+-----------+ 3 rows in set (0.01 sec)

    mysql> mysql> mysql> show master status; +------------------+-----------+--------------+------------------+--------------------------------------------------------------------------------------------------------------------------------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+-----------+--------------+------------------+--------------------------------------------------------------------------------------------------------------------------------------------------+ | mysql-bin.000122 | 190964654 | | | a30ccda1-22af-11e9-850a-6c92bf668356:4512526-4520657, df123bc8-3139-11ea-9587-6c92bf9bf658:1-6937, e001bcc0-3139-11ea-a763-ac853d9f52c8:1-801427 | +------------------+-----------+--------------+------------------+--------------------------------------------------------------------------------------------------------------------------------------------------+ 1 row in set (0.00 sec)

  • 输出文件内容

    直接查看

    mysqlbinlog mysql-bin.xxx //xxx表示文件编号

    输出到指定文件

    mysqlbinlog mysql-bin.xxx > mysqllog.log

    指定时间段输出

    mysqlbinlog --start-datetime '2020-01-08 00:00:00' --stop-datetime '2020-01-08 01:00:00' mysql-bin.xxx > mysqllog.log

如果执行过程出现以下提示,可暂时添加--no-defaults参数跳过检查。

mysqlbinlog:[ERROR] unknown variable 'default-character-set=utf8'

更多内容,请参考https://dev.mysql.com/doc/refman/5.7/en/binary-log.html

两阶段提交

写入redo log分为两个步骤

  • prepare
  • commit

即,两阶段提交。

为什么需要两阶段提交?

redo log和binlog是两个独立的逻辑,如果不用两阶段提交,要么就是先写完redo log再写binlog,要么反过来。

以上述更新为例。假设当前ID=2,字段c的值为0,并假设执行update过程中写完第一个日志后,发生了crash。看看两种方式会发生什么情况。

  • 先写redo log后写binlog

    • 假设redo log写完,binlog没有写完的时候,MySQL 进程异常重启
    • redo log写完之后,系统即使崩溃,仍然能够把数据恢复回来,所以恢复后这一行c的值是 1
    • 但由于binlog没写完就crash了,这时候binlog里面就没有记录这个语句。因此,之后备份日志的时候,存起来的binlog里面就没有这条语句。
    • 如果需要用这个binlog来恢复临时库的话,由于这个语句的binlog丢失,这个临时库就会少了这一次更新,恢复出来的这一行c的值就是0,与原库的值不同。
    • 出现不一致
  • 先写binlog后写redo log

    • 假设binlog写完之后,redo log没有写完的时候crash
    • 由于redo log还没写,崩溃恢复以后这个事务无效,所以这一行c的值是0。
    • 但是 binlog 里面已经记录了“把c从0改成1”这个日志。
    • 后续用binlog恢复的时候就多了一个事务出来,恢复出来的这一行c的值就是 1,与原库的值不同。
    • 也出现不一致

可以看出,如果不使用“两阶段提交”,数据库的状态有可能和用binlog恢复出来的库的状态不一致。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Wesley13 Wesley13
2年前
MySQL 日志(redo log 和 undo log) 都是什么鬼东西!?
innodb事务日志包括redolog和undolog。redolog是重做日志,提供前滚操作,undolog是回滚日志,提供回滚操作。undolog不是redolog的逆向过程,其实它们都算是用来恢复的日志:1.redolog通常是物理日志,记录的是数据页的物理修改,而不是某一行或某几行修改成怎样怎样,它用来恢复提交后的物理数
Stella981 Stella981
2年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
Mysql redo&&undo学习
   mysql通过锁机制来实现事务的隔离性,用redolog实现事务的原子性和持久性,用undolog实现事务的一致性。undo并不是redo的逆过程,redo和undo都可以看做一种恢复过程,redo恢复事务修改的页操作,redo记录的是物理日志,记录的是页的物理修改操作,redolog基本上都是顺序写的,在数据库运行时不需要对redolog
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究