Schedulis 0.6.0 版本发布

Stella981
• 阅读 442

Schedulis

0.6.0 版本发布

Schedulis****0.6.0

Schedulis 是一个基于LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。

开源链接:

https://github.com/WeBankFinTech/Schedulis

Schedulis 0.6.0新版本特性

01

特性增强

调度策略/功能扩展

  • 新增工作流循环执行调度策略,支持工作流串行循环执行,同时支持丰富的失败和告警策略,适用于需要一直不间断跑批的工作流。

  • 新增历史批次重跑的调度策略,支持工作流基于历史日期或者历史的某一时间段进行重跑,同时提供了丰富的时间配置方式,高效的并发能力,以及告警方式。

  • 新增多个维度的调度开关,系统级别的开关可关闭整个系统的调度功能,工作流级别的调度开关可对某一个工作流关闭调度。

工作流参数

  • 支持在工作流运行时将某一个运行时的参数展示在页面上的执行历史表格内,方便区分同名工作流的不同批次。

  • 系统内置变量定义方式支持在properties中定义和使用。

UI交互优化

  • 支持快速检索用户日志中的LinkisJobId和YARNId。

  • 支持对工作流结构图进行一键放大,优化对工作流进行编排,显示时间信息。

02

Bug修复

  • 修复在使用email告警的时候,页面配置告警邮箱不生效的问题。

  • 修复opendj 相关包在打包的时候无法打入依赖的问题。

03

未来展望

Schedulis0.6.0版本,重点解决了现有版本在工作流调度策略上的不完善,提供了历史重跑,循环执行两种调度策略,同时在参数定义展示上、调度功能上更加方便灵活,优化了现有UI在工作流中作业比较多的情况比较拥挤的情况; 在后续的版本中,我们将会提供事件驱动,动态任务分片等高级特性,同时在架构上对现有系统进行优化,在易用性,故障转移,弹性伸缩等能力上推出更多的容器化特性,丰富云原生场景,希望可以和社区同学们一道共同努力,共同为Schedulis贡献。

04

云资源

项目jobtype插件的依赖和配置,打包下载链接: https://pan.baidu.com/s/1V0pyhzwRCNdVgDhkNYWUhQ

提取码: hcnk (由于文件较大,所以放在网盘进行管理)

扫码或点击“阅读原文”进入GitHub

WeDataSphere,BIG DATA MADE EASY.

用心做一个有温度的开源社区

欢迎关注

Schedulis 0.6.0 版本发布

扫码关注我们

微信号公众号 : WeDataSphere

GitHub:WeDataSphere

如果喜欢我们的产品或文章,请给我们的GitHub点上你宝贵的star和fork哦~~

本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
2年前
java将前端的json数组字符串转换为列表
记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
2年前
java中比较两个时间的差值
项目背景1.某篇文稿的发布时间是publishDate,例如:2020072118:00:41。2.现要求判断该篇文稿的发布时间是否在近30天之内。publicstaticlongdayDiff(DatecurrentDate,DatepublishDate){LongcurrentTimecurrentDat
Stella981 Stella981
2年前
Nginx + lua +[memcached,redis]
精品案例1、Nginxluamemcached,redis实现网站灰度发布2、分库分表/基于Leaf组件实现的全球唯一ID(非UUID)3、Redis独立数据监控,实现订单超时操作/MQ死信操作SelectPollEpollReactor模型4、分布式任务调试Quartz应用
Stella981 Stella981
2年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
Stella981 Stella981
2年前
Eclipse插件开发_学习_00_资源帖
一、官方资料 1.eclipseapi(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fhelp.eclipse.org%2Fmars%2Findex.jsp%3Ftopic%3D%252Forg.eclipse.platform.doc.isv%252Fguide%2
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这