简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探

命名难 (NameFail)
• 阅读 1686

导读:无论是互联网应用或者企业级应用,都充斥着大量的批处理任务。随着微服务架构的逐步推进,很多原先的任务调度平台已经不能满足业务系统的需求。宜信公司开源了微服务任务调度平台,其具有支持任务编排、支持跨平台等优秀特性,本文对该平台进行了说明。

背景

无论是互联网应用或者企业级应用,都充斥着大量的批处理任务。常常需要一些任务调度系统帮助开发者解决问题。随着微服务化架构的逐步演进,单体架构逐渐演变为分布式、微服务架构。在此的背景下,很多原先的任务调度平台已经不能满足业务系统的需求。于是出现了一些基于分布式的任务调度平台。这些平台各有其特点,但各有不足之处,比如不支持任务编排、与业务高耦合、不支持跨平台等问题。非常不符合新一代微服务架构的需求,因此宜信公司开发了微服务任务调度平台(SIA-TASK)。

SIA是宜信公司基础开发平台Simple is Awesome的简称,SIA-TASK(微服务任务调度平台)是其中的一项重要产品,SIA-TASK契合当前微服务架构模式,具有跨平台,可编排,高可用,无侵入,一致性,异步并行,动态扩展,实时监控等特点。

项目简介

SIA-TASK是任务调度的一体式解决方案。对任务进行元数据采集,然后进行任务可视化编排,最终进行任务调度,并且对任务采取全流程监控,简单易用。对业务完全无侵入,通过简单灵活的配置即可生成符合预期的任务调度模型。

SIA-TASK借鉴微服务的设计思想,获取分布在每个任务执行器上的任务元数据,上传到任务注册中心。利用在线方式进行任务编排,可动态修改任务时钟,采用HTTP作为任务调度协议,统一使用JSON数据格式,由调度中心进行时钟解析,执行任务流程,进行任务通知。

关键术语

任务(Task): 基本执行单元,执行器对外暴露的一个HTTP调用接口;

作业(Job): 由一个或者多个存在相互逻辑关系(串行/并行)的任务组成,任务调度中心调度的最小单位;

计划(Plan): 由若干个顺序执行的作业组成,每个作业都有自己的执行周期,计划没有执行周期;

任务调度中心(Scheduler): 根据每个的作业的执行周期进行调度,即按照计划、作业、任务的逻辑进行HTTP请求;

任务编排中心(Config): 编排中心使用任务来创建计划和作业;

任务执行器(Executer): 接收HTTP请求进行业务逻辑的执行;

Hunter:Spring项目扩展包,负责执行器中的任务抓取,上传注册中心,业务可依赖该组件进行Task编写。

微服务任务调度平台的特性

基于注解自动抓取任务,在暴露成HTTP服务的方法上加入@OnlineTask注解,@OnlineTask会自动抓取方法所在的IP地址,端口,请求路径,请求方法,请求参数格式等信息上传到任务注册中心(zookeeper),并同步写入持久化存储中,此方法即任务;

基于注解无侵入多线程控制,单一任务实例必须保持单线程运行,任务调度框架自动拦截@OnlineTask注解进行单线程运行控制,保持在一个任务运行时不会被再次调度。而且整个控制过程对开发者完全无感知。

调度器自适应任务分配,任务执行过程中出现失败,异常时。可以根据任务定制的策略进行多点重新唤醒任务,保证任务的不间断执行。

高度灵活任务编排模式,SIA-TASK的设计思想是以任务为原子,把多个任务按照执行的关系组合起来形成一个作业。同时运行时分为任务调度中心和任务编排中心,使得作业的调度和作业的编排分隔开来,互不影响。在我们需要调整作业的流程时,只需要在编排中心进行处理即可。同时编排中心支持任务按照串行,并行,分支等方式组织关系。在相同任务不同任务实例时,也支持多种调度方式进行处理。

微服务任务调度平台设计

SIA-TASK主要分为五个部分:

任务执行器

任务调度中心

任务编排中心

任务注册中心(zookeeper)

持久存储(Mysql)

简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探

SIA-TASK的主要运行逻辑:

通过注解抓取任务执行器中的任务上报到任务注册中心

任务编排中心从任务注册中心获取数据进行编排保存入持久化存储

任务调度中心从持久化存储获取调度信息

任务调度中心按照调度逻辑访问任务执行器

简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探

UI预览

首页提供多维度监控

调度器信息:展示调度器信息(负载能力,预警值),以及作业分布情况。

调度信息:展示调度中心触发的调度次数,作业、任务多维度调度统计。

对接项目统计:对使用项目的系统进行统计,作业个数,任务个数等。

简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探

调度监控提供对已提交的作业进行实时监控展示。

作业状态实时监控:以项目组为单位面板,展示作业运行时状态。

实时日志关联:可以通过涂色状态图标进行日志实时关联展示。

简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探

任务管理:提供任务元数据的相关操作

任务元数据录入:手动模式的任务,可在此进行录入。

任务连通性测试:提供任务连通性功能测试。

任务元数据其他操作:修改,删除。

简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探

简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探

Job管理:提供作业相关操作

任务编排:进行作业的编排。

发布作业: 作业的创建,修改,以及发布。

级联设置:提供存在时间依赖的作业设置。

日志管理

简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探

本地日志:日志界面简洁,查询快速;日志提供7天的调度日志,以供快速查询。

开源地址

https://github.com/siaorg/sia...

GIAC全球互联网架构大会深圳站将于2019年6月21-23日举行,届时有更多微服务、云原生等前沿技术的相关演讲。参加2019年GIAC深圳站,可以了解更多业界动态,且可以和众多业界专家近距离接触。

简单才是王道?刚开源的微服务任务调度平台SIA—TASK初探

参加 GIAC,盘点2019年最新技术,目前购买8折优惠 ,多人购买有更多优惠。识别二维码了解大会更多详情。

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
3年前
5分钟带你浅谈企业级PaaS平台HZERO!
汉得企业级PaaS平台HZERO一款基于微服务架构的企业级PaaS平台,可支持企业各类系统搭建或产品研发,帮助企业快速构建技术中台。HZERO是企业级PaaS平台,结合汉得多年项目实施经验,应用微服务、容器、DevOps等云原生技术,封装了大量技术开发包、技术应用组件、技术场景实现能力,并结合以人工智能、大数据、物联网和
Stella981 Stella981
3年前
Spring Boot 集成 XXL
在开发中需要将已有的定时任务抽离出来,方便管理查看,因此选择集成分布式任务调度平台XXLJOB,本文就讲解下SpringBoot如何集成XXLJOB任务调度平台。XXLJOB简介XXLJOB是一个分布式任务调度平
Stella981 Stella981
3年前
Celery简单说明以及在Django中的配置
Celery1.什么是CleleryCelery是一个简单、灵活且可靠的,处理大量消息的分布式系统专注于实时处理的异步任务队列同时也支持任务调度Celery架构Celery的架构由三部分组成,消息中间件(messagebroker),任务执行单元(worker)和任务执行结果存储(taskresu
Stella981 Stella981
3年前
Linux 定时任务调度(crontab命令)
1.crond是Linux下用周期性的执行某种任务或者等待处理某些事件的一个守护进程,crond进程会每分钟定期检查是否有要执行的任务,如果有要执行的任务则自动执行该任务2.Linux下的任务调度1.系统任务调度:系统周期性所要执行的工作,如:写缓存数据到硬盘、清理日志等。系统任务调度的配置文件/etc/c
Easter79 Easter79
3年前
TaskManager 支持依赖关系的开源android 任务调度库
爱奇艺开源了一个支持任务依赖关系的任务调度工具库,TaskManager.API灵活方便。Github地址:https://github.com/iqiyi/TaskManager1.简单的任务提交TM.postAsync(Runnable);//runonbackgroundthreadTM.
Wesley13 Wesley13
3年前
100%移植阿里云移动测试技术,竟仅需1周?!——移动测试专有云(2)——架构详解
_摘要:_ 移动测试的应用架构作为一整个庞大的移动测试解决方案,MQC专有云系统内部包含了非常多的软硬件模块,整个系统紧密高效的互相连接稳定配合。从模块划分上来看,主要包括:用户交互平台、任务调度平台、移动终端控制系统、无线机房管理平台、自动化测试能力、中间件(数据库、缓存、文件存储)、无线机房硬件方案、专家支持服务。移动测试的应用架构
Stella981 Stella981
3年前
Schedulis 0.6.0 版本发布
Schedulis0.6.0版本发布Schedulis0.6.0_Schedulis是一个基于LinkedIn的开源项目Azkaban开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发
Stella981 Stella981
3年前
SpringBoot集成Schedule任务调度
一、前言:微服务应用中可能会涉及到多个定时任务跨服务同时执行,这里就会涉及到线程生命周期和一致性问题,任务调度器本质上还是单独启动的线程执行,但是生命周期不会随应用的停止而销毁,所以本篇内容只涉及当前应用执行定时任务1、配置启动类!(https://static.oschina.net/uploads/space/2018/060
Easter79 Easter79
3年前
SpringBoot集成Schedule任务调度
一、前言:微服务应用中可能会涉及到多个定时任务跨服务同时执行,这里就会涉及到线程生命周期和一致性问题,任务调度器本质上还是单独启动的线程执行,但是生命周期不会随应用的停止而销毁,所以本篇内容只涉及当前应用执行定时任务1、配置启动类!(https://static.oschina.net/uploads/space/2018/060
OpenCL任务调度基础介绍 | 京东物流技术团队
当前,科学计算需求急剧增加,基于CPUGPU异构系统的异构计算在科学计算领域得到了广泛应用,OpenCL由于其跨平台特性在异构计算领域渐为流行,其调度困难的问题也随之暴露,传统的OpenCL任务调度需要在编码阶段确定调度方案,这种人工调度难度高、适应性差、
容器、容器云和容器化PaaS平台之间到底是什么关系?
容器是一种操作系统级虚拟化技术,Docker是一种容器引擎。使用Docker来运行操作容器。但从容器自身来说,其提供的是IaaS层能力。Kubernetes提供了容器调度和管理的能力,加上云计算租户功能,实现容器云平台功能。而基于容器技术所构建的应用开发、应用托管和应用运维平台则可以称为容器化PaaS平台,它是一种轻量化PaaS实现。结合日志、监控、认证、权限等基础能力则可以构建企业级的平台和可复用服务,采用微服务架构实现企业技术服务中台能力,支撑企业业务敏捷研发和模式转型。