PGET,一个简单、易用的并行调用框架

Wesley13
• 阅读 276

使用场景

当我们的服务收到一个请求后,需要大量调用下游服务获取业务数据,然后对数据进行转换、计算后,响应给请求方。

如果我们采用串行获取下游数据,势必会增加响应时长,降低接口的qps。如果是并行获取下游数据,则是不错的。

最直接想到的并行获取方法,无非是将一个个获取数据的方法封装成一个个task,然后放到线程池里执行。但这种没经过设计的使用方式,易用性很低,可复用性也很低。

经本人在实际的业务系统中,多次思考与设计。终于设计出当前这个框架。

特点:绝对的简单、绝对的易用。

相关概念

  • BizData

业务数据对象。用于将下游获取到的数据封装到此对象中。

开发者需自定义此对象,并实现IBizData接口

  • BizDataProvider

业务数据对象提供者。此对象类似于分层结构中的Service层,其调用下游数据源(可以是rpc调用等)将得到的数据封装到BizData对象中。

此类需要添加@BizDataProvider注解。其方法返回值一定要是BizData对象

注: BizDataProvider身上已经加入了@Service注解,会spring管理。

使用

在spring的xml中配置:

<!-- 初始化框架,并设置用于并行获取业务数据的线程池配置  -->
    <bean class="com.dyz.pget.core.BizDataManager" init-method="init" destroy-method="destroy">
        <property name="corePoolSize" value="12"/>
        <property name="maximumPoolSize" value="200"/>
        <property name="keepAliveTime" value="0"/>
        <property name="queueSize" value="1000"/>
    </bean>

第一步:自定义BizData对象

自定义的BizData对象需实现IBizData接口。切要提供无参构造方法。

public class UserInfoBizData implements IBizData{
    private Long userId;
    private String name;
    private Integer age;

    /**
     * 必须提供默认构造参数
     */
    public UserInfoBizData() {
    }

    public UserInfoBizData(Long userId, String name, Integer age) {
        this.userId = userId;
        this.name = name;
        this.age = age;
    }

    /**
     * 如果此数据对象获取失败时的默认兜底值。如果不支持兜底,则返回null即可。
     * @return
     */
    @Override
    public IBizData defaultBizData() {
        return null;
    }

    @Override
    public String format2String() {
        return new StringBuilder()
                .append("ID:").append(userId)
                .append(",名字:").append(name)
                .append(",年龄:").append(age)
                .toString();
    }
}
//篇幅问题,此处只贴了一个BizData的代码

第二步:编写对应的BizDataProvider

@BizDataProvider
public class TestBizDataProvider {

    /**
     * 异常要抛出,框架会捕获
     * @param userId
     * @return
     * @throws Exception
     */
    public UserInfoBizData getUserInfoBizData(long userId)throws Exception{
        //调用远程rpc或者其他数据源得到数据,并封装到UserInfoBizData对象中
        return new UserInfoBizData(userId,"张三",20);
    }

    public ProductInfoBizData getProductInfoBizData(long shopId,long productId)throws Exception{
        //调用远程rpc或者其他数据源得到数据,并封装到ProductInfoBizData对象中
        return new ProductInfoBizData(productId,shopId,"啤酒");
    }
}

第三步:获取数据

①Getter模式

使用案例代码:

    @Test
    public void testGetter() throws BizDataFetchException {
        long userId = 1345L;
        long shopId = 11L;
        long productId = 11011L;
        //并行获取用户信息、商品信息、门店信息三个数据。超时时间是100毫秒
        List<IBizData> bizDataList = BizDataGetter.build()
                .get(UserInfoBizData.class,userId)
                .get(ProductInfoBizData.class,shopId,productId)
                .get(ShopInfoBizData.class,shopId)
                .doGet(100L);

        UserInfoBizData userInfoBizData = (UserInfoBizData)bizDataList.get(0);
        ProductInfoBizData productInfoBizData = (ProductInfoBizData)bizDataList.get(1);
        ShopInfoBizData shopInfoBizData = (ShopInfoBizData)bizDataList.get(2);

        System.out.println(userInfoBizData.format2String());
        System.out.println(productInfoBizData.format2String());
        System.out.println(shopInfoBizData.format2String());
    }

Injector模式

定义一个数据包裹对象,存放所需要的数据对象

public class BizDataWrapper {
    private UserInfoBizData userInfoBizData;
    private ShopInfoBizData shopInfoBizData;
    private ProductInfoBizData productInfoBizData;


    public UserInfoBizData getUserInfoBizData() {
        return userInfoBizData;
    }

    public ShopInfoBizData getShopInfoBizData() {
        return shopInfoBizData;
    }

    public ProductInfoBizData getProductInfoBizData() {
        return productInfoBizData;
    }
}

使用案例代码:

   @Test
   public void testGetter() throws BizDataFetchException {
        long userId = 1345L;
        long shopId = 11L;
        long productId = 11011L;
        BizDataWrapper bizDataWrapper = new BizDataWrapper();
        //并行获取用户信息、商品信息、门店信息三个数据。并注入到bizDataWrapper中,以方便使用。超时时间是100毫秒
        BizDataInjector.build(bizDataWrapper)
                .inject(UserInfoBizData.class,userId)
                .inject(ProductInfoBizData.class,shopId,productId)
                .inject(ShopInfoBizData.class,shopId)
                .doInject(100L);
        
        System.out.println(bizDataWrapper.getUserInfoBizData().format2String());
        System.out.println(bizDataWrapper.getProductInfoBizData().format2String());
        System.out.println(bizDataWrapper.getShopInfoBizData().format2String());
    }

结尾

相信你使用后,一定会觉着简单易用。

不多说了,贴上github地址: https://github.com/yongzhidai/pget

注:使用时,没必要把源代码粘到业务系统中,自己打个jar包,让业务系统依赖下就OK了。

点赞
收藏
评论区
推荐文章
Souleigh ✨ Souleigh ✨
2年前
从0实现一遍axios,再也不怕写请求
axios请求方法主要有get,post,put,patch,deleteget获取数据post提交数据(表单提交文件上传)put更新数据(将所有数据均推放到服务端)patch更新数据(只将修改的数据推送到后端)delete
kenx kenx
2年前
SpringBoot 整合缓存Cacheable实战详细使用
前言我知道在接口api项目中,频繁的调用接口获取数据,查询数据库是非常耗费资源的,于是就有了缓存技术,可以把一些不常更新,或者经常使用的数据,缓存起来,然后下次再请求时候,就直接从缓存中获取,不需要再去查询数据,这样可以提供程序性能,增加用户体验,也节省服务资源浪费开销,在springboot帮你我们做好了整合,有对应的场景启动器start,我们之间引入使用
kenx kenx
2年前
SpringBoot @ModelAttribute 用法
前言项目中遇到这么一个使用场景,用户的登录信息给予token保存,在需要有登录信息的地方,每次都要去获取用户Id,但每次在请求方法中去获取用户信息,代码重复,冗余,很low于是想到了用@ModelAttribute这个属性使用场景不用@ModelAttribute时候在需要用户信息的请求中每次需要单独获取用户信息JavaStringtoken
Wesley13 Wesley13
2年前
java常用接口范例(二)
java接口下发接口服务接口对账中心调用计算中心的服务,来获取数据服务接口对账中心调用主数据中心数据库,直接查询数据java工具库使用   1.连接数据源:@DataSource(valueDynamicDataSource.OFFLINE\_CMBC\_SQLSERVER\_DATA\_SOURCE)   2.服
Stella981 Stella981
2年前
Js和Thymeleaf如何获取model中的值
简述在大多数的项目架构中,使用SPringBoot发布微服务,前端采用Thymeleaf作为Html模版,使用Jquery作为动态脚本,那么Thymeleaf和Jquery是如何获取Model中的数据呢?Jquery获取Model中的数据方法1:将model中的值赋给hidden,然后Js获取隐藏域的值。
Stella981 Stella981
2年前
SQLAlchemy
介绍SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在DBAPI之上,使用关系对象映射进行数据库操作,简言之便是:将类和对象转换成SQL,然后使用数据API执行SQL并获取执行结果,并把获取的结果转为python对象。其中发sql到mysql服务器,从mysql服务器拿结果都是借助其他工具来完成的,例如pymysql.
Easter79 Easter79
2年前
Tp5安全篇入门
输入安全设置public目录为唯一对外访问目录,不能把资源文件放入到应用目录;使用框架提供的请求变量获取方法(Request类的param方法及input助手函数)而不是原生系统变量获取用户输入的数据;使用验证类或者验证方法对业务数据设置必要的验证规则;设置安全过滤函数对用户输入的数据进行过滤处理。
Easter79 Easter79
2年前
SQLAlchemy
介绍SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在DBAPI之上,使用关系对象映射进行数据库操作,简言之便是:将类和对象转换成SQL,然后使用数据API执行SQL并获取执行结果,并把获取的结果转为python对象。其中发sql到mysql服务器,从mysql服务器拿结果都是借助其他工具来完成的,例如pymysql.
Stella981 Stella981
2年前
Spring Cloud构建微服务架构
在微服务架构中,我们将系统拆分成了一个个的服务单元,各单元应用间通过服务注册与订阅的方式互相依赖。由于每个单元都在不同的进程中运行,依赖通过远程调用的方式执行,这样就有可能因为网络原因或是依赖服务自身问题出现调用故障或延迟,而这些问题会直接导致调用方的对外服务也出现延迟,若此时调用方的请求不断增加,最后就会出现因等待出现故障的依赖方响应而形成任务积压,线程资
京东云开发者 京东云开发者
5个月前
扫盲Kafka?看这一篇就够了! | 京东云技术团队
kafka的使用场景为什么要使用Kafka消息队列?解耦、削峰:传统的方式上游发送数据下游需要实时接收,如果上游在某些业务场景:例如上午十点会流量激增至顶峰,那么下游资源可能会扛不住压力。但如果使用消息队列,就可以将消息暂存在消息管道中,下游可以按照自己的