【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离

蚀窗派生
• 阅读 1693

1.垂直拆分

1.1垂直分库

垂直拆分就是要把表按功能模块划分到不同数据库中,如果你的系统是分布式微服务的架构,那就更好理解了,一般一个微服务对应这一个或多个数据库。比如电商系统一般都会有用户中心、订单、商品等等。用户中心数据库存的都是用户信息相关的,商品数据库存的都是商品相关的数据,订单数据库则是存的订单相关的。
【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离

1.2垂直分表

垂直分表是将一张数据表的字段,拆成两张或两张以上的数据进行存放。这样做的目的一个是避免一张表存的字段太多,单条数据的数据量大,不仅会占用更多的物理内容,还会降低查询的性能。而且有些字段查询的不是很频繁,有些字段查询的很频繁,那我们就可以将这查询频繁和查询不频繁的字段分开存放。这样就可以避免磁盘进行不必要的IO,提高系统的性能。我们一般都是把查询频繁的字段放到主表中,查询不频繁且不是很重要的字段放到扩展表中。主表和扩展表是1对1的关系,之间用主键进行关联。
【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离

1.3垂直拆分优缺点

优点:

  • 解决业务系统层面的耦合,业务清晰。
  • 与微服务的治理类似,也能对不同业务的数据进行分级管理、维护、监控、扩展等。
  • 并发场景下,垂直切分一定程度的提升IO、数据库连接数、单机硬件资源的瓶颈。
    缺点:
  • 部分表无法join,只能通过接口聚合方式解决,提升了开发的复杂度。
  • 分布式事务处理复杂。
  • 依然存在单表数据量过大的问题(需要水平切分)。

2.水平拆分

当一个应用已经按照垂直拆分,将数据库或数据表拆的粒度达到了最小,但是单表的数据行数巨大,在进行数据库读写的时候,存储性能还是会很差,这个时候就需要进行水平拆分了。水平拆分又分为库内分表和分库分表,在进行水平分表的时候,需要根据表中存储的数据之间存在的逻辑关系进行拆分。可以根据表中的某个字段取分,比如说用户id。也可以根据时间去分,比如一个月分一次表。这些分表策略最终目的都是为了让单表的数据变小,从而减轻数据表读写的IO压力。

2.1 库内分表

库内分表是在一个数据库中的某张表,数据行数达到了数据库读写性能的瓶颈的时候,将数据平摊到数据表结构一样的数据表中,已达到减少单张表数据,提升数据表读写性能的目的。
【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离

2.2 分库分表

库内分表只解决了一个库内单张表的压力,但是如果查询的比较频繁的话,库内分表的那个数据库的整体性能还是很容易达到瓶颈。因为一个物理机的CPU、内容、网络IO都是有限的,所以就需要多个库去分担单库的IO压力。
分库分表就是将原先单库分好的数据表,平摊到各个数据库中,目的就是为了减轻单库的IO性能压力,正所谓人多力量大嘛。
【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离

3. 分表策略

3.1 按范围拆分

按照ID区间来切分。例如:将userId为1~9999分到第一个库,10000~19999的分到第二个库,以此类推。某种意义上,某些系统中使用的"冷热数据分离",将一些使用较少的历史数据迁移到其他库中,业务功能上只提供热点数据的查询,也是类似的实践。
【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离
优点:

  • 单表大小可控。
  • 天然便于水平扩展,后期如果想对整个分片集群扩容时,只需要添加节点即可,无需对其他分片的数据进行迁移。
  • 使用分片字段进行范围查找时,连续分片可快速定位分片进行快速查询,有效避免跨分片查询的问题。

缺点:

  • 热点数据成为性能瓶颈。连续分片可能存在数据热点,例如按时间字段分片,有些分片存储最近时间段内的数据,可能会被频繁的读写,而有些分片存储的历史数据,则很少被查询。

3.2 取模分表

这种分表策略是项目中用的比较多的,字段值取模分表的算法就是用某个字段的值进行取模,即key%n,如果算数据落到哪个库中,则n是数据库的总数。如果算数据落到哪个表中,则n是数据表的总数。Key就是你需要用来取模字段的值,这个可以一般都是根据你项目的业务去定义的,比如:key是userId,那这个人的数据必然会落入到同一个库中。需要注意的是这个key一定要保证是全局唯一id。
优点:

  • 数据分片相对比较均匀,不容易出现热点和并发访问的瓶颈。
    缺点:
  • 后期分片集群扩容时,需要迁移旧的数据(使用一致性hash算法能较好的避免这个问题)容易面临跨分片查询的复杂问题。

3.3 时间分表

按照时间进行分表,这个表的拆分周期将会作为表的后缀名,比如按月分表,则表名一般都会跟着这个表是几年几月的。一般都会根据数据量大小决定时间拆分的粒度,数据量有小到大对应的拆分的粒度则是时、日、月、年进行拆分。一般按照时间来进行切分的数据,一般都是日志类的数据。这种数据一般都是查询一些创建时间比较近的数据,历史数据不会轻易查询。
【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离
优点:

  • 单表大小可控
  • 天然便于水平扩展,后期如果想对整个分片集群扩容时,只需要添加节点即可,无需对其他分片的数据进行迁移。
  • 使用分片字段进行范围查找时,连续分片可快速定位分片进行快速查询,有效避免跨分片查询的问题。
    缺点:
  • 热点数据成为性能瓶颈。连续分片可能存在数据热点,例如按时间字段分片,有些分片存储最近时间段内的数据,可能会被频繁的读写,而有些分片存储的历史数据,则很少被查询,联表查询困难。

以上总结的是几种比较常用的分库分表策略,还有其它的分库分表策略感兴趣的可以自行去了解。分库分表策略没有哪个是最好的,都是要根据自己的业务场景去选择使用哪种分库分表策略

现在比较流行的几种分库分表中间件有:shardingJDBC,mycat等。掌握一种就可以了,底层的原理都是一样的,概括起来的话就是拦截sql语句,然后根据你配置的分库分表策略去改写sql,路由到对应的数据库中。

4. 主从复制

【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离
以mysql为例,在进行master数据库数据的修改数据操作,数据库执行之后,都会将执行日志记录到本地,以二进制文件保存,也就是我们所说的bin-log。

假设master和slave数据配置好了主从关系,实时的对master的数据进行修改,master数据库会通过3306端口,通过网络将bin-log同步给slave数据库。slave执行的并不是二进制日志,由于它是从master的二进制日志复制过来的,并不是自己的数据库变化产生的,有点接力的感觉,称为中继日志,即relay log。这就是所谓的mysql的复制,即MYSQL replication。

可以发现,通过上面的机制,可以保证master和slave的数据库数据一致,但是时间上肯定有延迟,即MYSQL-B的数据是滞后的。即便不考虑什么网络的因素,master的数据库操作是可以并发的执行的,但是slave只能从relay log中读一条,执行下。因此master的写操作很频繁,slave很可能跟不上。

主从复制这块只需要知道它的原理就行,因为配置主从复制有点偏运维,有专门的运维会去做这件事,开发不需要关心。

5. 读写分离

【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离
在数据库集群架构中,让主库负责处理事务性查询,而从库只负责处理select查询,让两者分工明确达到提高数据库整体读写性能。当然,主数据库另外一个功能就是负责将事务性查询导致的数据变更同步到从库中,也就是写操作。这就是数据库的读写分离。

优点:

  • 分摊服务器压力,提高机器的系统处理效率
  • 增加冗余,提高服务可用性,当一台数据库服务器宕机后可以调整另外一台从库以最快速度恢复服务

**觉得写的不错的,可以一键三连哦。想了解更多,或想要直接获取我的后续内容。
Gong#Zhong#Hao:java干货仓库,发送【亿级系统设计】。**

后续文章目录大纲:
【数据库篇】垂直拆分、水平拆分、分库分表策略、主从复制、读写分离

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Wesley13 Wesley13
4年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
京东面试官:呦,你对中间件 Mycat了解的还挺深~
1.数据切分概念数据的切分根据其切分规则的类型,可以分为两种切分模式。一种是按照不同的表(或者Schema)来切分到不同的数据库(主机)(https://jq.qq.com/?wv1027&k0IsBuUb0)之上,这种切可以称之为数据的垂直(纵向)切分;另外一则是根据表中的数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库(主机)上面,这种切
Wesley13 Wesley13
4年前
mysql数据库分库分表shardingjdbc
分库分表理解   分库分表应用于互联网的两个场景;大量数据和高并发,通常策略有两种:垂直分库,水平拆分  垂直拆分:是根据业务将一个库拆分为多个库,将一个表拆分为多个表,例如:将不常用的字段和经常访问的字段分开存放,在实际开发由于跟业务关系紧密,所以一般采用水平拆分。  水平拆分:则是根据分片算法讲一个库拆分为多个库,来进行维护,
Wesley13 Wesley13
4年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Stella981 Stella981
4年前
Nginx + lua +[memcached,redis]
精品案例1、Nginxluamemcached,redis实现网站灰度发布2、分库分表/基于Leaf组件实现的全球唯一ID(非UUID)3、Redis独立数据监控,实现订单超时操作/MQ死信操作SelectPollEpollReactor模型4、分布式任务调试Quartz应用
Wesley13 Wesley13
4年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Easter79 Easter79
4年前
Springboot2.x + ShardingSphere 实现分库分表
之前一篇文章中我们讲了基于Mysql8的读写分离(文末有链接),这次来说说分库分表的实现过程。概念解析垂直分片按照业务拆分的方式称为垂直分片,又称为纵向拆分,它的核心理念是专库专用。在拆分之前,一个数据库由多个数据表构成,每个表对应着不同的业务。而拆分之后,则是按照业务将表进行归类,分布到不同的数据库中,从而将压力分散至不同的
Easter79 Easter79
4年前
SpringBoot+RabbitMQ+Redis实现商品秒杀
业务分析一般而言,商品秒杀大概可以拆分成以下几步:1.用户校验校验是否多次抢单,保证每个商品每个用户只能秒杀一次2.下单订单信息进入消息队列,等待消费3.减少库存消费订单消息,减少商品库存,增加订单记录4.付款十五分钟内完成支付,修改支付状态创建表goods\_info商品库存表
Stella981 Stella981
4年前
SpringBoot+RabbitMQ+Redis实现商品秒杀
业务分析一般而言,商品秒杀大概可以拆分成以下几步:1.用户校验校验是否多次抢单,保证每个商品每个用户只能秒杀一次2.下单订单信息进入消息队列,等待消费3.减少库存消费订单消息,减少商品库存,增加订单记录4.付款十五分钟内完成支付,修改支付状态创建表goods\_info商品库存表
蚀窗派生
蚀窗派生
Lv1
春江潮水连海平,海上明月共潮生。
文章
3
粉丝
0
获赞
0