基于Spring-AOP的自定义分片工具

字节玄铁师
• 阅读 382

  1、背景
  
  随着数据量的增长,发现系统在与其他系统交互时,批量接口会出现超时现象,发现原批量接口在实现时,没有做分片处理,当数据过大时或超过其他系统阈值时,就会出现错误。由于与其他系统交互比较多,一个一个接口做分片优化,改动量较大,所以考虑通过AOP解决此问题。

基于Spring-AOP的自定义分片工具
  
  2、Spring-AOP
  
  AOP(AspectOrientProgramming),直译过来就是面向切面编程。AOP是一种编程思想,是面向对象编程(OOP)的一种补充。面向对象编程将程序抽象成各个层次的对象,而面向切面编程是将程序抽象成各个切面。
  
  Spring中的AOP是通过动态代理实现的。SpringAOP不能拦截对对象字段的修改,也不支持构造器连接点,我们无法在Bean创建时应用通知。
  
  3、功能实现
  
  自定义分片处理分三个部分:自定义注解(MethodPartAndRetryer)、重试器(RetryUtil)、切面实现(RetryAspectAop)。
  
  3.1、MethodPartAndRetryer
  
  源码

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface MethodPartAndRetryer {
/**
* 失败重试次数
* @return
*/
int times() default 3;
/**
* 失败间隔执行时间 300毫秒
* @return
*/
long waitTime() default 300L;
/**
* 分片大小
* @return
*/
int parts() default 200;
}

  @interface说明这个类是个注解。
  
  @Target是这个注解的作用域

public enum ElementType {
/** 类、接口(包括注释类型)或枚举声明 */
TYPE,
/** 字段声明(包括枚举常量) */
FIELD,
/** 方法声明 */
METHOD,
/** 正式的参数声明 */
PARAMETER,
/** 构造函数声明 */
CONSTRUCTOR,
/** 局部变量声明 */
LOCAL_VARIABLE,
/** 注释类型声明*/
ANNOTATION_TYPE,
/** 程序包声明 */
PACKAGE,
/**类型参数声明*/
TYPE_PARAMETER,
/**类型的使用*/
TYPE_USE
}

  @Retention注解的生命周期

public enum RetentionPolicy {
/** 编译器处理完后不存储在class中*/
SOURCE,
/**注释将被编译器记录在类文件中,但不需要在运行时被VM保留。 这是默认值*/
CLASS,
/**编译器存储在class中,可以由虚拟机读取*/
RUNTIME
}

  ●times():接口调用失败时,重试的次数。
  
  ●waitTime(): 接口调用失败是,间隔多长时间再次调用。
  
  ●int part():进行分片时,每个分片的大小。

  3.2、RetryUtil
  
  源码

public class RetryUtil<V> {

public Retryer<V> getDefaultRetryer(int times,long waitTime) {
Retryer<V> retryer = RetryerBuilder.<V>newBuilder()
.retryIfException()
.retryIfRuntimeException()
.retryIfExceptionOfType(Exception.class)
.withWaitStrategy(WaitStrategies.fixedWait(waitTime, TimeUnit.MILLISECONDS))
.withStopStrategy(StopStrategies.stopAfterAttempt(times))
.build();
return retryer;
}
}

  说明
  
  ●RetryerBuilder:是用于配置和创建Retryer的构建器。
  
  ●retryIfException:抛出runtime异常、checked异常时都会重试,但是抛出error不会重试。
  
  ●retryIfRuntimeException:只会在抛runtime异常的时候才重试,checked异常和error都不重试。
  
  ●retryIfExceptionOfType:允许我们只在发生特定异常的时候才重试。
  
  ●withWaitStrategy:等待策略,每次请求间隔。
  
  ●withStopStrategy:停止策略,重试多少次后停止。
  
  3.3RetryAspectAop
  
  源码:

public class RetryAspectAop {
public Object around(final ProceedingJoinPoint point) throws Throwable {
Object result = null;
final Object[] args = point.getArgs();
boolean isHandler1 = isHandler(args);
if (isHandler1) {
String className = point.getSignature().getDeclaringTypeName();
String methodName = point.getSignature().getName();
Object firstArg = args[0];
List<Object> paramList = (List<Object>) firstArg;
//获取方法信息
Method method = getCurrentMethod(point);
//获取注解信息
MethodPartAndRetryer retryable = AnnotationUtils.getAnnotation(method, MethodPartAndRetryer.class);
//重试机制
Retryer<Object> retryer = new RetryUtil<Object>().getDefaultRetryer(retryable.times(),retryable.waitTime());
//分片
List<List<Object>> requestList = Lists.partition(paramList, retryable.parts());
for (List<Object> partList : requestList) {
args[0] = partList;
Object tempResult = retryer.call(new Callable<Object>() {
@Override
public Object call() throws Exception {
try {
return point.proceed(args);
} catch (Throwable throwable) {
log.error(String.format("分片重试报错,类%s-方法%s",className,methodName),throwable);
throw new RuntimeException("分片重试出错");
}
}
});
if (null != tempResult) {
if (tempResult instanceof Boolean) {
if (!((Boolean) tempResult)) {
log.error(String.format("分片执行报错返回类型不能转化bolean,类%s-方法%s",className,methodName));
throw new RuntimeException("分片执行报错!");
}
result = tempResult;
} else if (tempResult instanceof List) {
if(result ==null){
result =Lists.newArrayList();
}
((List) result).addAll((List) tempResult);
}else {
log.error(String.format("分片执行返回的类型不支持,类%s-方法%s",className,methodName));
throw new RuntimeException("不支持该返回类型");
}
} else {
log.error(String.format("分片执行返回的结果为空,类%s-方法%s",className,methodName));
throw new RuntimeException("调用结果为空");
}
}
} else {
result = point.proceed(args);
}
return result;
}
private boolean isHandler(Object[] args) {
boolean isHandler = false;
if (null != args && args.length > 0) {
Object firstArg = args[0];
//如果第一个参数是list 并且数量大于1
if (firstArg!=null&&firstArg instanceof List &&((List) firstArg).size()>1) {
isHandler = true;
}
}
return isHandler;
}
private Method getCurrentMethod(ProceedingJoinPoint point) {
try {
Signature sig = point.getSignature();
MethodSignature msig = (MethodSignature) sig;
Object target = point.getTarget();
return target.getClass().getMethod(msig.getName(), msig.getParameterTypes());
} catch (NoSuchMethodException e) {
throw new RuntimeException(e);
}
}
}

  说明:
  
  getCurrentMethod:获取方法信息即要做分片的批量调用的接口。
  
  isHandler1:判断是否要做分片处理,只有第一参数是list并且list的值大于1时才做分片处理。
  
  around:具体分片逻辑。
  
  ●获取要分片方法的参数。
  
  ●判断是否要做分片处理。
  
  ●获取方法。
  
  ●获取重试次数、重试间隔时间和分片大小。
  
  ●生成重试器。
  
  ●根据设置的分片大小,做分片处理。
  
  ●调用批量接口并处理结果。
  
  4、功能使用
  
  4.1、配置文件
  
  4.2、代码示例

@MethodPartAndRetryer(parts=100)
public Boolean writeBackOfGoodsSN(List<SerialDTO> listSerial,ObCheckWorker workerData)

  只要在需要做分片的批量接口方法上,加上MethodPartAndRetryer注解就可以,重试次数、重试间隔时间和分片大小可以在注解时设置,也可以使用默认值。
  
  5、小结
  
  通过自定义分片工具,可以快速的对老代码进行分片处理,而且增加了重试机制,提高了程序的可用性,提高了对老代码的重构效率。

点赞
收藏
评论区
推荐文章
基于Spring-AOP的自定义分片工具
作者:陈昌浩1背景随着数据量的增长,发现系统在与其他系统交互时,批量接口会出现超时现象,发现原批量接口在实现时,没有做分片处理,当数据过大时或超过其他系统阈值时,就会出现错误。由于与其他系统交互比较多,一个一个接口做分片优化,改
Stella981 Stella981
3年前
Chrome接口请求一直是pending状态,但接口实际上是正常的
<divid"cnblogs\_post\_body"class"blogpostbody"<h21.现象</h2<p个别机器突然出现Chrome访问我司产品异常,本该通过接口获取的数据没有呈现,之前都是好好的,而且其他机器同样用同版本Chrome访问正常。</p<p出现问题的机器重装Chrome问题依然存在,直到重装了操作系统才恢
Stella981 Stella981
3年前
RSA 加密 解密 (长字符串) JAVA JS版本加解密
系统与系统的数据交互中,有些敏感数据是不能直接明文传输的,所以在发送数据之前要进行加密,在接收到数据时进行解密处理;然而由于系统与系统之间的开发语言不同。本次需求是生成二维码是通过java生成,由php来解密。基于这类需求所以选择了RSA进行加解密。生成RSA公私钥分成三步生成,第1、2步可以满足php的使用,由于java的私钥要转化为PKCS8格式
Stella981 Stella981
3年前
Mycat适配oracle,各种坑
注:文中使用版本为Mycat1.6.5。1、Mycat正如官方所说,Mycat是数据库中间件,就是介于数据库与应用之间,进行数据处理与交互的中间服务。由于前面讲的对数据进行分片处理之后,从原有的一个库,被切分为多个分片数据库,所有的分片数据库集群构成了整个完整的数据库存储。当然,Mycat没有自己的存储引擎,并
Stella981 Stella981
3年前
33个常见问题!超全Windows排查手册
无论你是新手还是老手,你的Windows系统都会遇到不容易诊断的问题。而当发生这种情况时,你会怎么做?希望本书可以在系统出现问题但是又不知道到底发生了什么以及问题出现在哪里时,为大家提供解决思路和方法,高效的解决问题。点击免费下载《ECS运维指南之windows系统诊断》(https://www.oschina.net/action/
Stella981 Stella981
3年前
No subject alternative names present和 PKIX path building failed... 的解决
今天遇到一个问题,记录下来,由于网上说的五花八门,记录下自己处理的方式需求主要是服务端http改https。tomcat做https,自己作了张证书,由于其他应用有通过httpclient访问的接口,结果就出现异常Nosubjectalternativenamespresent网上解决方式基本2种,证书做的时候不能用IP的方式,要使用
Stella981 Stella981
3年前
Noark入门之异步事件
引入异步事件主要是为了各模块的解耦,每当完成一个动作时,向系统发布一个事件,由关心的模块自己监听处理,可选择同步处理,异步处理,延迟处理。何时发布事件,当其他模块关心此动作时<br比如获得道具时,任务系统模块要判定完成进度,BI模块需要上报等等都可以监听此事件,已达模块解耦0x00事件源一个实现xyz.noark.core.event
Wesley13 Wesley13
3年前
C++接口定义及实现举例
一、接口的定义   有时候,我们得提供一些接口给别人使用。接口的作用,就是提供一个与其他系统交互的方法。其他系统无需了解你内部细节,并且也无法了解内部细节,只能通过你提供给外部的接口来与你进行通信。根据c的特点,我们可以采用纯虚函数的方式来实现。这样做的好处是能够实现封装和多态。现举一实例,供大家参考。(不想做过多说明,大家一看就应该能够明白)
关于自动限流的思考 | 京东云技术团队
目标保证系统不因流量过载而挂。现状:人工限流正常的微服务限流工具都需要人工配置:支持应用负责人事先配置限流规则(接口调用方限流阈值),流量在阈值以下可以正常响应,超过阈值的流量会快速失败。这种方案存在如下问题:问题1\.接口多,无法全面覆盖要想保证系统
性能优化之路总结
针对老项目,去年做了许多降本增效的事情,其中发现最多的就是接口耗时过长的问题,就集中搞了一次接口性能优化。本文将给小伙伴们分享一下接口优化的通用方案。一、接口优化方案总结1.批处理批量思想:批量操作数据库,这个很好理解,我们在循环插入场景的接口中,可以在批
京东云开发者 京东云开发者
6个月前
记录一次SQL慢查询优化
作者:京东物流赫占星一、慢SqL发现在一次需求UAT上线后,本来在测试环境没问题的接口,UAT环境出现了接口超时,通过查询接口日志发现是SQL查询超时了,原因是UAT环境的数据量比测试环境大得多。一般来说,我们可以通过数据库本身的慢查询日志去定位出问题的慢