Springboot2.x + ShardingSphere 实现分库分表

Easter79
• 阅读 623

之前一篇文章中我们讲了基于Mysql8的读写分离(文末有链接)，这次来说说分库分表的实现过程。

概念解析

垂直分片

按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。 在拆分之前，一个数据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到不同的数据库中，从而将压力分散至不同的数据库。 下图展示了根据业务需要，将用户表和订单表垂直分片到不同的数据库的方案。

Springboot2.x + ShardingSphere 实现分库分表

垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且，它也并无法真正的解决单点瓶颈。 垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。

水平分片

水平分片又称为横向拆分。 相对于垂直分片，它不再将数据根据业务逻辑分类，而是通过某个字段（或某几个字段），根据某种规则将数据分散至多个库或表中，每个分片仅包含数据的一部分。 例如：根据主键分片，偶数主键的记录放入0库（或表），奇数主键的记录放入1库（或表），如下图所示。

Springboot2.x + ShardingSphere 实现分库分表

水平分片从理论上突破了单机数据量处理的瓶颈，并且扩展相对自由，是分库分表的标准解决方案。

开发准备

分库分表常用的组件就是shardingsphere，目前已经是apache顶级项目，这次我们使用springboot2.1.9 + shardingsphere4.0.0-RC2（均为最新版本）来完成分库分表的操作。

假设有一张订单表，我们需要将它分成2个库，每个库三张表，根据id字段取模确定最终数据的位置，数据库环境配置如下：

  • 172.31.0.129
    • blog
      • t_order_0
      • t_order_1
      • t_order_2
  • 172.31.0.131
    • blog
      • t_order_0
      • t_order_1
      • t_order_2

三张表的逻辑表为t_order，大家可以根据建表语句准备好其他所有数据表。

DROP TABLE IF EXISTS `t_order_0;
CREATE TABLE `t_order_0` (
  `id` bigint(20) NOT NULL,
  `name` varchar(255) DEFAULT NULL COMMENT '名称',
  `type` varchar(255) DEFAULT NULL COMMENT '类型',
  `gmt_create` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '创建时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

注意，千万不能将主键的生成规则设置成自增长，需要按照一定规则来生成主键，这里使用shardingsphere中的SNOWFLAKE俗称雪花算法来生成主键

代码实现

  • 修改pom.xml,引入相关组件

    1.8 3.1.1 4.0.0-RC2 
    <dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
        <version>2.0.1</version>
    </dependency>

    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.15</version>
    </dependency>

    <dependency>
        <groupId>com.baomidou</groupId>
        <artifactId>mybatis-plus-boot-starter</artifactId>
        <version>${mybatis-plus.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.shardingsphere</groupId>
        <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
        <version>${sharding-sphere.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.shardingsphere</groupId>
        <artifactId>sharding-jdbc-spring-namespace</artifactId>
        <version>${sharding-sphere.version}</version>
    </dependency>

    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
    </plugins>
</build>

  • 配置mysql-plus

    @Configuration
@MapperScan("com.github.jianzh5.blog.mapper")
public class MybatisPlusConfig {

        /**
         * 攻击 SQL 阻断解析器
         */
        @Bean
        public PaginationInterceptor paginationInterceptor(){
                PaginationInterceptor paginationInterceptor = new PaginationInterceptor();
                List<ISqlParser> sqlParserList = new ArrayList<>();
                sqlParserList.add(new BlockAttackSqlParser());

                paginationInterceptor.setSqlParserList(sqlParserList);
                return new PaginationInterceptor();
        }


        /**
         * SQL执行效率插件
         */
        @Bean
        // @Profile({"dev","test"})
        public PerformanceInterceptor performanceInterceptor() {
                return new PerformanceInterceptor();
        }
}

  • 编写实体类Order

    @Data
@TableName("t_order")
public class Order {
        private Long id;

        private String name;

        private String type;

        private Date gmtCreate;

}

  • 编写DAO层,OrderMapper

    /**
 * 订单Dao层
 */
public interface OrderMapper extends BaseMapper<Order> {

}

  • 编写接口及接口实现

    public interface OrderService extends IService<Order> {

}

/**
 * 订单实现层
 * @author jianzh5
 * @date 2019/10/15 17:05
 */
@Service
public class OrderServiceImpl extends ServiceImpl<OrderMapper, Order> implements OrderService {

}

  • 配置文件（配置说明见备注）

    server.port=8080

# 配置ds0 和ds1两个数据源
spring.shardingsphere.datasource.names = ds0,ds1

#ds0 配置
spring.shardingsphere.datasource.ds0.type = com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name = com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbc-url = jdbc:mysql://192.168.249.129:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false
spring.shardingsphere.datasource.ds0.username = root
spring.shardingsphere.datasource.ds0.password = 000000

#ds1 配置
spring.shardingsphere.datasource.ds1.type = com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name = com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbc-url = jdbc:mysql://192.168.249.131:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false
spring.shardingsphere.datasource.ds1.username = root
spring.shardingsphere.datasource.ds1.password = 000000

# 分库策略 根据id取模确定数据进哪个数据库
spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column = id
spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression = ds$->{id % 2}

# 具体分表策略
# 节点 ds0.t_order_0,ds0.t_order_1,ds1.t_order_0,ds1.t_order_1
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes = ds$->{0..1}.t_order_$->{0..2}
# 分表字段id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column = id
# 分表策略 根据id取模,确定数据最终落在那个表中
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression = t_order_$->{id % 3}


# 使用SNOWFLAKE算法生成主键
spring.shardingsphere.sharding.tables.t_order.key-generator.column = id
spring.shardingsphere.sharding.tables.t_order.key-generator.type = SNOWFLAKE

#spring.shardingsphere.sharding.binding-tables=t_order

spring.shardingsphere.props.sql.show = true

  • 编写单元测试，查看结果是否正确

    public class OrderServiceImplTest extends BlogApplicationTests {
    @Autowired
    private OrderService orderService;


    @Test
    public void testSave(){
        for (int i = 0 ; i< 100 ; i++){
            Order order = new Order();
            order.setName("电脑"+i);
            order.setType("办公");
            orderService.save(order);
        }
    }

    @Test
    public void testGetById(){
        long id = 1184489163202789377L;
        Order order  = orderService.getById(id);
        System.out.println(order.toString());
    }
}

  • 在数据表中查看数据，确认数据正常插入 Springboot2.x + ShardingSphere 实现分库分表

  • 至此分库分表开发完成

往期回顾

SpringBoot+Mysql8实现读写分离

欢迎关注我的个人公众号：JAVA日知录

前端
点赞
收藏
评论区
推荐文章
Java架构没有996 Java架构没有996
•
2年前
京东面试官：呦，你对中间件 Mycat了解的还挺深~
1.数据切分概念数据的切分根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）(https://jq.qq.com/?wv1027&k0IsBuUb0)之上，这种切可以称之为数据的垂直（纵向）切分；另外一则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切
1427
0
0
Wesley13 Wesley13
•
2年前
mysql数据库分库分表shardingjdbc
分库分表理解　　　分库分表应用于互联网的两个场景;大量数据和高并发，通常策略有两种：垂直分库，水平拆分　　垂直拆分：是根据业务将一个库拆分为多个库，将一个表拆分为多个表，例如：将不常用的字段和经常访问的字段分开存放，在实际开发由于跟业务关系紧密，所以一般采用水平拆分。　　水平拆分：则是根据分片算法讲一个库拆分为多个库，来进行维护，
951
0
0
Easter79 Easter79
•
2年前
SpringBoot2.0高级案例(04)： 整合sharding
一、水平分割1、水平分库1)、概念：以字段为依据，按照一定策略，将一个库中的数据拆分到多个库中。2)、结果每个库的结构都一样；数据都不一样；所有库的并集是全量数据；2、水平分表1)、概念以字段为依据，按照一定策略，将一个表中的数据拆分到多个表中。
562
0
0
Wesley13 Wesley13
•
2年前
MySQL 部署分布式架构 MyCAT (五)
分片（水平拆分）4.全局表业务使用场景：如果你的业务中有些数据类似于数据字典，比如配置文件的配置，常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，而且大部分的业务场景都会用到，那么这种表适合于Mycat全局表，无须对数据进行切分，要在所有的分片上保存一份数据即可
468
0
0
Wesley13 Wesley13
•
2年前
MongoDB的分片集群的安装
简介所谓分片，指的就是把数据拆分，将其分散到不同机器上的过程。MongoDB支持自动分片，对应用而言，好像始终和一个单机的服务器交互一样。分片和复制复制是让多台服务器拥有相同的数据副本，而分片是每个分片都拥有整个数据集的一个子集，且相互是不同的数据，多个分片的数据合起来构成整个数据集。Mongos用来
474
0
0
Wesley13 Wesley13
•
2年前
MySQL 分库分表方案
数据库分库分表前言今天有朋友问到了数据库分库分表，他们都说数据库达到了瓶颈，需要重构，但是毫无头绪，现在做个概念总结（期待后期的实操吗？）会从以下几个方面说起：第一部分：实际网站发展过程中面临的问题。第二部分：有哪几种切分方式，垂直和水平的区别和适用面。第三部分：目前市面有的一些开源产品，技术，它们的优缺点是
429
0
0
Stella981 Stella981
•
2年前
SpringBoot2.0高级案例(04)： 整合sharding
一、水平分割1、水平分库1)、概念：以字段为依据，按照一定策略，将一个库中的数据拆分到多个库中。2)、结果每个库的结构都一样；数据都不一样；所有库的并集是全量数据；2、水平分表1)、概念以字段为依据，按照一定策略，将一个表中的数据拆分到多个表中。
454
0
0
Wesley13 Wesley13
•
2年前
mysql可扩展第二部分
　　数据分片主要是将数据按照一定的规则分为几个完全不同的数据集合的方式成为数据分片。数据的切分可以是数据库内的，将数据库中的一张表切分为几个不同的数据库表。也可以是数据库级别的，将数据库中的表划分为多个表，这些表存储在不同的数据库服务器上。该部分主要用来介绍数据库级的数据分片。切分规则将具有相关的数据保存在同一个分片上可以提高数据查询效率。数据库分片的路由规
418
0
0
Wesley13 Wesley13
•
2年前
MongoDB 分片的原理、搭建、应用
一、概念：     分片(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fdocs.mongodb.org%2Fmanual%2Fcore%2Fshardingintroduction%2F)（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不
345
0
0
京东云开发者 京东云开发者
•
7个月前
分库表数据倾斜的处理让我联想到了AKF模型 | 京东云技术团队
1背景最近在做需求的时候需要在一张表中增加一个字段。这张表情况如下：1、拆分了多个库多张表2、库表拆分按表中商户编码字段hash之后取模进行拆分由于库表拆分按照商户编码，有些大商家的单子数量远远要高于其他普通商家，这样就造成了严重的数据倾斜。在增加字段的时
164
0
0
Easter79
Easter79
Lv1
今生可爱与温柔，每一样都不能少。
文章
2.8k
粉丝
5
获赞
1.2k
热门文章
uni app video、视频播放开发
tmux的复制粘贴
tableau地图源之高德地图
storybook配置之基本配置和webpack配置
twint 安装及使用