浅析如何保证缓存与数据库一致性

码途霜焰狩
• 阅读 1132

一、前言

最近在线上遇到了因缓存和数据库数据不一致而引发的问题。经排查后,发现是因为我们写操作采用的策略是先写数据库,再删缓存。如果写操作后马上去读的话,由于缓存被删,会去数据库查数据。又由于数据库主从延迟,会加载从库的旧数据到缓存。于是发生了数据库已被修改为新数据,但缓存依然是旧数据的情况。

这次线上的事情,引申出了一个老生常谈的话题,如何保证数据库与缓存一致性?今天我们就来谈谈这个事。

浅析如何保证缓存与数据库一致性

二、不一致场景分析

1、 无并发时

首先看一下最简单的情况。当一个写请求希望把数据从D1改成D2。
由于我们写请求需要进行两个操作:1、写数据库;2、更新/删除缓存。这两个操作并非是一个事务,所以必然有可能发生其中一个成功一个失败的情况(一般是后一个,因为如果前一个操作失败,一般不会再做第二个操作)。这样会引申出以下两种情况。


浅析如何保证缓存与数据库一致性

  1. 先将DB数据由D1修改为D2
  2. 再删除或更新缓存(该步骤发生异常,即失败了)
    最终,数据库数据是D2,缓存数据依旧为D1。

浅析如何保证缓存与数据库一致性

  1. 先更新缓存数据由D1到D2
  2. 更新数据库发生异常
    最终,数据库数据是D1,缓存数据已被修改为D2。

2、 并发时

接下来讨论更复杂的情况,也就是在读写并发时可能发生的不一致。
首先明确的是,在读未命中缓存的时候,我们的做法一般是去查数据库,然后把查到的值写入到缓存中。但在写数据时,策略往往不尽相同。我们常常会考虑两个问题。1)先操作缓存还是先操作数据库;2)删缓存还是更新缓存。

1)先DB后缓存

1. 写数据库后更新缓存
  • 首先是未命中读+写操作并发的场景。
    浅析如何保证缓存与数据库一致性
  • 线程A读缓存,未命中
  • 线程A读DB,得到Data1
  • 线程B写DB,将数据从Data1更新至Data2
  • 线程B写缓存,更新为Data2
  • 线程A写缓存,更新为之前读到的Data1
    最终,DB值为Data2,但缓存中值为Data1。

  • 其次是写操作并发的场景。
    浅析如何保证缓存与数据库一致性
  • 线程A写DB,写入Data1
  • 线程B写DB,写入Data2
  • 线程A更新缓存,写入Data1
  • 线程B更新缓存,写入Data2
    最终,DB值为Data2,缓存值为Data1.
2. 写数据库后删除缓存

写数据库之后删除缓存,似乎可以解决以上的问题,如下图所示。

浅析如何保证缓存与数据库一致性

但这不是万能的,就例如我在开篇提到的线上问题,采用的正是写DB+删缓存策略。由于我们项目读QPS非常大,但写QPS不高。故采用了读写分离的主从架构。写请求都在主库上进行,读请求则访问从库,并依赖主从同步保证数据一致。由于主从同步需要时间,就可能发生以下的情况导致DB与缓存数据不一致。

浅析如何保证缓存与数据库一致性

2)先缓存后DB

1. 删缓存后写数据库

浅析如何保证缓存与数据库一致性

  1. 线程A写请求,先删缓存
  2. 线程B读缓存,未命中
  3. 线程B读DB,得到D1
  4. 线程A写数据库,D1更新为D2
  5. 线程B写缓存D1
    最终,DB的数据是D2,而缓存是D1。
2. 更新缓存后写数据库

浅析如何保证缓存与数据库一致性

  1. 线程B读缓存,未命中
  2. 线程A写请求,缓存由D1更新至D2
  3. 线程B读DB,得到D1
  4. 线程A写DB,有D1更新至D2
  5. 线程B写缓存D1
    最终,DB的数据是D2,缓存的数据是D1。

三、不一致的处理方式

在缓存与数据库不一致之后,若过期时间非常长,且期间没有写操作,会造成读的时候有很长一段时间数据是错误的。那么如何去修正或者说尽量保证一致呢?

1、延迟双删

顾名思义,延迟双删就是在写完数据库之后,隔一小段时间\( \Delta(T) \),再删一次缓存。当然第二次删缓存是异步进行的。

对以下两种情况,采用延迟双删策略后,都能保证在一段时间后,缓存中的脏数据被删除。也就是达到了最终一致性。但期间可能有请求读到的是脏数据。
浅析如何保证缓存与数据库一致性

浅析如何保证缓存与数据库一致性

这一小段时间\( \Delta(T) \)该怎么取值呢?首先知道,\( \Delta(T) \)之后再删一次的目的是为了删除并发的未命中读产生的脏数据。所以一般要略大于一次读的请求,且略大于主从同步的延迟。

2、删除缓存重试机制

删缓存这一步可能会发生异常,为了保证删缓存成功,可以引入重试机制。对于删缓存失败的操作,进入重试队列。重试队列选型可以是Kafka,也可以是Redis中的列表。对于一致性要求没那么高的,甚至可以在单机内存中存放队列。

3、读取binlog校对缓存

使用组件/中间件获取数据库的binlog。binlog若采用Row模式,解析后一般会有数据行最新数据的信息。通过这个信息去查缓存,若发现不一致则删除缓存;若一致,则不作处理。

四、总结

其实最终使用哪种策略去写数据,都要依据自己服务的特性来做取舍,并没有万能的策略(除非使用串行化或者做很多限制保证数据强一致,这时会降低系统可用性)。

业界经常使用的Cache Aside策略,也就是对于写请求先更新数据库再删缓存的这种做法,在我们的服务中会遇到不少问题。所以最终改成了先更新数据库再更新缓存

对于线上的情况,可以尝试不同的策略,并在后台做数据库与缓存的一致性统计,结合业务特点选择最合适的方案。

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
Redis主从自动切换原理
Redis主从自动切换原理复制原理1:当一个从数据库启动时,会向主数据库发送sync命令,2:主数据库接收到sync命令后会开始在后台保存快照(执行rdb操作),并将保存期间接收到的命令缓存起来3:当快照完成后,redis会将快照文件和所有缓存的命令发送给从数据库。4:从数据库
Stella981 Stella981
3年前
Redis和MySQL数据一致中出现的几种情况
1\.MySQL持久化数据,Redis只读数据redis在启动之后,从数据库加载数据。读请求:不要求强一致性的读请求,走redis,要求强一致性的直接从mysql读取写请求:数据首先都写到数据库,之后更新redis(先写redis再写mysql,如果写入失败事务回滚会造成redis中存在脏数据)2.MySQL和Redis
Stella981 Stella981
3年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Stella981 Stella981
3年前
Redis 击穿、穿透、雪崩的解决方案
Redis击穿、穿透、雪崩的解决方案击穿和穿透场景:指的是单个key在缓存中查不到,去数据库查询(透过redis去查db叫击穿)区别:击穿:数据在数据库中真实存在,缓存丢失,大量请求击穿数据库穿透:数据在缓存中没有,数据库中也没有
Stella981 Stella981
3年前
Oh! Binlog还能这样用之Canal
背景不知道是否你还在为下面的问题而困扰:当你使用了redis或者其他中间件做缓存的时候,经常发现缓存和数据库的数据不一致,只能通过定时任务或者缓存过期的方式去做一些限制。当你使用了ES做搜索工具,使用双写的那一套方法,还在为ES和数据库不是一个事务而担忧。当你需要迁移数据的时候,也还在使用双写的方法,如果是同一个数据
Stella981 Stella981
3年前
Hibernate(四)——缓存策略+lazy
Hibernate作为和数据库数据打交道的框架,自然会设计到操作数据的效率wenti,而对于一些频繁操作的数据,缓存策略就是提高其性能一种重要手段,而Hibernate框架是支持缓存的,而且支持一级和二级两种缓存,合理的使用缓存策略可以大大提高我们的操作数据效率,但是利用不能,可能会造成不必要的麻烦。一,一级缓存(Session缓
Stella981 Stella981
3年前
Oh!Binlog还能这样用之Canal
背景不知道是否你还在为下面的问题而困扰:当你使用了redis或者其他中间件做缓存的时候,经常发现缓存和数据库的数据不一致,只能通过定时任务或者缓存过期的方式去做一些限制。当你使用了ES做搜索工具,使用双写的那一套方法,还在为ES和数据库不是一个事务而担忧。当你需要迁移数据的时候,也还在使用双写的方法,如果是同一个数据
Stella981 Stella981
3年前
Redis之缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级
\TOC\Redis之缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级1、缓存雪崩  发生场景:当Redis服务器重启或者大量缓存在同一时期失效时,此时大量的流量会全部冲击到数据库上面,数据库有可能会因为承受不住而宕机  解决办法:    1)随机均匀设置失效
Stella981 Stella981
3年前
Redis缓存穿透问题及解决方案
上周在工作中遇到了一个问题场景,即查询商品的配件信息时(商品:配件为1:N的关系),如若商品并未配置配件信息,则查数据库为空,且不会加入缓存,这就会导致,下次在查询同样商品的配件时,由于缓存未命中,则仍旧会查底层数据库,所以缓存就一直未起到应有的作用,当并发流量大时,会很容易把DB打垮。缓存穿透问题缓存穿透是指查询一个根本不存在的数
Stella981 Stella981
3年前
Redis缓存穿透、缓存雪崩、并发问题分析与解决方案
(一)缓存和数据库间数据一致性问题分布式环境下(单机就不用说了)非常容易出现缓存和数据库间的数据一致性问题,针对这一点的话,只能说,如果你的项目对缓存的要求是强一致性的,那么请不要使用缓存。我们只能采取合适的策略来降低缓存和数据库间数据不一致的概率,而无法保证两者间的强一致性。合适的策略包括合适的缓存更新策略,更新数
Stella981 Stella981
3年前
Memcached 缓存数据库应用实践
1.1数据库对比缓存:将数据存储到内存中,只有当磁盘胜任不了的时候,才会启用缓存  缺点:断电数据丢失(双电),用缓存存储数据的目的只是为了应付大并发的业务。数据库:mysql(关系型数据库,能够保证数据一致性,保证数据不丢失,当因为功能太多,导致性能不高)数据参考缓存数据库:me