xxl-job之调度中心启动源码分析(一)

熵桥薄雾
• 阅读 4149

xxl-job之调度中心启动源码分析(一)

首先从spring的配置看起, 从以下配置可以看出,xxl内部使用的是quartz

spring配置

<bean id="quartzScheduler" lazy-init="false" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
   <property name="dataSource" ref="dataSource" />
   <property name="autoStartup" value="true" />         <!--自动启动 -->
   <property name="startupDelay" value="20" />             <!--延时启动,应用启动成功后在启动 -->
   <property name="overwriteExistingJobs" value="true" /> <!--覆盖DB中JOB:true、以数据库中已经存在的为准:false -->
   <property name="applicationContextSchedulerContextKey"  value="applicationContextKey" />
   <property name="configLocation" value="classpath:quartz.properties"/>
</bean>
<!-- 这个调度中心,在启动的时候,会做很多初始化的工作 ,比如:执行器信息,注册机器列表等信息 -->
<bean id="xxlJobDynamicScheduler" class="com.xxl.job.admin.core.schedule.XxlJobDynamicScheduler" init-method="init" destroy-method="destroy" >
    <!-- 配置调度中心的名称 -->
   <property name="scheduler" ref="quartzScheduler"/>
    <!-- 用于调度中心和执行器之间通信的时候做数据加密 -->
   <property name="accessToken" value="${xxl.job.accessToken}" />
</bean>

XxlJobDynamicScheduler

com.xxl.job.admin.core.schedule.XxlJobDynamicScheduler 在启动的时候会做如下工作:

public void init() throws Exception {
    // 启动自动注册线程, 获取类型为自动注册的执行器信息,完成机器的自动注册与发现
    JobRegistryMonitorHelper.getInstance().start();
     
    // 启动失败日志监控线程
    JobFailMonitorHelper.getInstance().start();
     
    // admin-server(spring-mvc)
    NetComServerFactory.putService(AdminBiz.class, XxlJobDynamicScheduler.adminBiz);
    NetComServerFactory.setAccessToken(accessToken);
     
    // valid
    Assert.notNull(scheduler, "quartz scheduler is null");
    logger.info(">>>>>>>>> init xxl-job admin success.");
}

JobRegistryMonitorHelper

JobRegistryMonitorHelper.getInstance().start() 详细代码如下:


public void start(){
   //创建一个线程
   registryThread = new Thread(new Runnable() {
      @Override
      public void run() {
         // 当toStop 为false时进入该循环。
         while (!toStop) {
            try {
               // 获取类型为自动注册的执行器地址列表
               List<XxlJobGroup> groupList = XxlJobDynamicScheduler.xxlJobGroupDao.findByAddressType(0);
               if (CollectionUtils.isNotEmpty(groupList)) {
     
                  // 删除 90秒之内没有更新信息的注册机器, 90秒没有心跳信息返回,代表机器已经出现问题,故移除
                  XxlJobDynamicScheduler.xxlJobRegistryDao.removeDead(RegistryConfig.DEAD_TIMEOUT);
     
                  // fresh online address (admin/executor)
                  HashMap<String, List<String>> appAddressMap = new HashMap<String, List<String>>();
                  // 查询在90秒之内有过更新的机器列表
                  List<XxlJobRegistry> list = XxlJobDynamicScheduler.xxlJobRegistryDao.findAll(RegistryConfig.DEAD_TIMEOUT);
                  if (list != null) {
                     //循环注册机器列表,  根据执行器不同,将这些机器列表区分拿出来
                     for (XxlJobRegistry item: list) {
                        // 判断该机器注册信息RegistryGroup ,RegistType 是否是EXECUTOR , EXECUTOR 代表该机器是注册到执行器上面的
                        // RegistType  分为两种, ADMIN 和EXECUTOR
                        if (RegistryConfig.RegistType.EXECUTOR.name().equals(item.getRegistryGroup())) {
                           // 获取注册的执行器 KEY  (也就是执行器)
                           String appName = item.getRegistryKey();
                           List<String> registryList = appAddressMap.get(appName);
                           if (registryList == null) {
                              registryList = new ArrayList<String>();
                           }
     
                           if (!registryList.contains(item.getRegistryValue())) {
                              registryList.add(item.getRegistryValue());
                           }
                           // 收集 机器信息,根据执行器做区分
                           appAddressMap.put(appName, registryList);
                        }
                     }
                  }
     
                  //  遍历执行器列表
                  for (XxlJobGroup group: groupList) {
                     // 通过执行器的APP_NAME  拿出他下面的集群机器地址
                     List<String> registryList = appAddressMap.get(group.getAppName());
                     String addressListStr = null;
                     if (CollectionUtils.isNotEmpty(registryList)) {
                        Collections.sort(registryList);
                        // 转为为String, 通过逗号分隔
                        addressListStr = StringUtils.join(registryList, ",");
                     }
                     group.setAddressList(addressListStr);
                     // 将 这个执行器的 集群机器地址列表,写入到数据库
                     XxlJobDynamicScheduler.xxlJobGroupDao.update(group);
                  }
               }
            } catch (Exception e) {
               logger.error("job registry instance error:{}", e);
            }
            try {
               TimeUnit.SECONDS.sleep(RegistryConfig.BEAT_TIMEOUT);
            } catch (InterruptedException e) {
               logger.error("job registry instance error:{}", e);
            }
         }
      }
   });
   registryThread.setDaemon(true);
   //启动线程
   registryThread.start();
}

JobFailMonitorHelper

JobFailMonitorHelper.getInstance().start(); 详细代码如下:

//JobFailMonitorHelper.java
public void start(){
   // 启动线程
 monitorThread = new Thread(new Runnable() {

 @Override
 public void run() {
         // monitor
 while (!toStop) {
            try {
               List<Integer> jobLogIdList = new ArrayList<Integer>();
               // 从队列中拿出所有可用的 jobLogIds
                int drainToNum = JobFailMonitorHelper.instance.queue.drainTo(jobLogIdList);
               if (CollectionUtils.isNotEmpty(jobLogIdList)) {
                  for (Integer jobLogId : jobLogIdList) {
                     if (jobLogId==null || jobLogId==0) {
                        continue;
                     }
                     //从数据库跟以前有日志信息
                    XxlJobLog log = XxlJobDynamicScheduler.xxlJobLogDao.load(jobLogId);
                     if (log == null) {
                        continue;
                     }
                     //任务触发成功, 但是JobHandle 还没有返回结果
                    if (IJobHandler.SUCCESS.getCode() == log.getTriggerCode() && log.getHandleCode() == 0) {
                        //将 JobLogId 放入队列 , 继续监控
                         JobFailMonitorHelper.monitor(jobLogId);
                        logger.info(">>>>>>>>>>> job monitor, job running, JobLogId:{}", jobLogId);
                     } else if (IJobHandler.SUCCESS.getCode() == log.getHandleCode()) {
                        // job success, pass
                        logger.info(">>>>>>>>>>> job monitor, job success, JobLogId:{}", jobLogId);
                     } else if (IJobHandler.FAIL.getCode() == log.getTriggerCode()
                           || IJobHandler.FAIL.getCode() == log.getHandleCode()
                           || IJobHandler.FAIL_RETRY.getCode() == log.getHandleCode() ) {
                        // 任务执行失败, 执行发送邮件等预警措施
                        failAlarm(log);
                        logger.info(">>>>>>>>>>> job monitor, job fail, JobLogId:{}", jobLogId);
                     } else {
                        JobFailMonitorHelper.monitor(jobLogId);
                        logger.info(">>>>>>>>>>> job monitor, job status unknown, JobLogId:{}", jobLogId);
                     }
                  }
               }
               // 停顿一下
                TimeUnit.SECONDS.sleep(10);
            } catch (Exception e) {
               logger.error("job monitor error:{}", e);
            }
         }

   });
   monitorThread.setDaemon(true);
   monitorThread.start();
}

以上 是xxl-job 在启动的时候做的操作, 主要是启动两个线程,

用来监控自动注册上来的机器,达到自动注册的目的
监控任务的执行状态, 如若失败,则发送邮件预警

xxl-job 是基于quartz 进行的二次开发,在系统启动的时候,quartz框架会自动去数据库读取相关的配置信息,载入相关定时器信息
xxl-job之调度中心启动源码分析(一)

点赞
收藏
评论区
推荐文章
美凌格栋栋酱 美凌格栋栋酱
6个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
捉虫大师 捉虫大师
3年前
Nacos注册中心之概要设计
前言在之前的文章中分析了Nacos配置中心,配置中心的核心是配置的创建、读取、推送。注册中心的核心比配置中心多一个服务探活模块,他俩的相似度非常高,甚至阿里内部的注册中心就叫ConfigServer。Nacos注册中心打算分成几个模块来分析,本文重点在于概要设计,基于2.0.0版本。环境搭建用Nacos的源码来搭建源码阅读和调试环境,可参考Nacos调试
Stella981 Stella981
3年前
Spring Cloud 系列之 Config 配置中心(二)
本篇文章为系列文章,未读第一集的同学请猛戳这里:SpringCloud系列之Config配置中心(一)(https://my.oschina.net/u/4126211/blog/4274304)本篇文章讲解Config如何实现配置中心自动刷新。配置中心自动刷新  点击链接观看:配置中心自动刷新视频(http
Stella981 Stella981
3年前
Druid连接池简单入门配置
偶尔的机会解释Druid连接池,后起之秀,但是评价不错,另外由于是阿里淘宝使用过的所以还是蛮看好的。Druid集连接池,监控于一体整好复合当前项目的需要,项目是ssh结构,之前是用C3p0的,现在换一个连接池也是很简单的,首先spring配置DataSource,配置如下:<bean id"dataSource" class"co
可莉 可莉
3年前
19_BasicTaskScheduler0 基本任务调度类基类(一)——Live555源码阅读(一
19\_BasicTaskScheduler0基本任务调度类基类(一)——Live555源码阅读(一)任务调度相关类这是Live555源码阅读的第二部分,包括了任务调度相关的三个类。任务调度是Live555源码中很重要的部分。本文由乌
Stella981 Stella981
3年前
Spring Boot 集成 XXL
在开发中需要将已有的定时任务抽离出来,方便管理查看,因此选择集成分布式任务调度平台XXLJOB,本文就讲解下SpringBoot如何集成XXLJOB任务调度平台。XXLJOB简介XXLJOB是一个分布式任务调度平
可莉 可莉
3年前
18 TaskScheduler任务调度器抽象基类——Live555源码阅读(一)任务调度相关类
18TaskScheduler任务调度器抽象基类——Live555源码阅读(一)任务调度相关类这是Live555源码阅读的第二部分,包括了任务调度相关的三个类。任务调度是Live555源码中很重要的部分。本文由乌合之众lym瞎编,欢
可莉 可莉
3年前
20_BasicTaskScheduler0 基本任务调度类基类(二)——Live555源码阅读(一
20\_BasicTaskScheduler0基本任务调度类基类(二)——Live555源码阅读(一)任务调度相关类这是Live555源码阅读的第二部分,包括了任务调度相关的三个类。任务调度是Live555源码中很重要的部分。本文由乌
可莉 可莉
3年前
17 任务调度相关类综述——Live555源码阅读(一)任务调度相关类
17任务调度相关类综述——Live555源码阅读(一)任务调度相关类这是Live555源码阅读的第二部分,包括了任务调度相关的三个类。任务调度是Live555源码中很重要的部分。本文由乌合之众lym瞎编,欢迎转载my.oschi
Wesley13 Wesley13
3年前
DUBBO配置规则详解
DUBBO配置规则详解欢迎加入DUBBO交流群:259566260研究DUBBO也已经大半年了,对它的大部分源码进行了分析,以及对它的内部机制有了比较深入的了解,以及各个模块的实现。DUBBO包含很多内容,如果想了解DUBBO第一步就是启动它,从而可以很好的使用它,那么如何更好的使用呢?就需要知道DUBBO的各个配置项,以及它可以通过哪些途径
Stella981 Stella981
3年前
SpringBoot 整合 XXL
!(https://oscimg.oschina.net/oscnet/up70e17c6d470e8a78c2ce62b4e097f686258.png)1、Docker创建调度中心dockerrunePARAMS"spring.datasource.urljdbc:mysql://xxx:3306/xxl_job?
熵桥薄雾
熵桥薄雾
Lv1
傍邻闻者多叹息,远客思乡皆泪垂。
文章
2
粉丝
0
获赞
0