OpenMLDB Weekly Update(2021.9.12-2021.9.19)

尾调星轨
• 阅读 837

Summary

本周合并 Pull requests 12个,新增Pull requests 4个,关闭 Issues 6个,新增 Issues 18个。总计353个文件修改,新增36056行代码,删除879行代码。
OpenMLDB Weekly Update(2021.9.12-2021.9.19)

Merged Pull Requests

feat: add integration test cicd#434
feat: add batchjob as java submodules#386
feat: add kubernetes java dependencies for taskmanager#400
fix: fix count in some yaml cases#436
feat: add a new optimization for expanding data in window skew optimization#424
feat: support insert multiple rows into a table using a single SQL insert statement#399
feat: support aggregation over the whole table#393
ci: openmldb java deploy workflow#366
test: rm DataSyncReplicaCluster test#415
feat: reconfiguration window skew optimization#414
feat: add integration test#395
feat: bump junit from 4.11 to 4.13.1 in /java/openmldb-batchjob#382

Open Pull Requests

build(deps): bump snakeyaml from 1.17 to 1.26 in /test/batch-test/openmldb-batch-test#416
build(deps): bump httpclient from 4.5.2 to 4.5.13 in /test/integration-test/openmldb-test-java/openmldb-test-common#417
feat: support in predicate#423
feat: reorganize error code and use check_status and check_true#435

Close Issues

Make openmldb-batchjob and openmldb-taskmanager as submodules of openmldb-parent#385
Support submit and manage Kubernetes jobs for TaskManager#375
Bug: SQL INSERT Statement with multi rows does not work as expected#391
studio.4.2.0安装的rtidb启动coredump#278
Support General aggegrate function over table COUNT, MAX, MIN, SUM#219
feat: support integration test for java/python sdk and offline batch#316
Open Issues
Add feature extraction tools like detecting data skew#433
feat: try run benchmark on GitHub workflow, compare & upload test results#432
feat: refactor error/warning log in hybridse#430
refactor yaml sql test case#427
feat: improve cli and make the console output more clean and clear#426
RFC: Redesign some interfaces of SQLClusterRouter#425
Create memtable when creating procedure#422
Sync metadata to hive metastore when creating iceberg table#421
Load data from iceberg to memtable#420
Get index from sql&procdure#419
Create message table and sync data to nearline tablet#418
Add optimization passes for native LastJoin#413
Enable optimization fo window parallel computation by default#412
Package OpenMLDB Spark distribution for release#411
Support table aggregation functions for Batch mode#410
Support passing Spark parameters for TaskManager#409
Refine the parameters from TaskManager API to support more job status#408
Integrated TaskManager API with OpenMLDB CLI tool#407

Contributors

aceforeverd (teapot@aceforeverd.com)
Chen22 (jingchen2222@gmail.com)
dl239 (dl239@126.com)
Kanekanekane (1290561498@qq.com)
Kanekanekane (kane@KanedeMacBook-Pro.local)
tobe (tobeg3oogle@gmail.com)
Wang ZeKai (1290561498@qq.com)
wuyou10206 (zw1020688@163.com)

Highlights

本周新增加了IntegrationTest集成测试模块,并集成到CICD流程,整体代码修改较多,主要是新增了大量SQL测试用例。TaskManager模块新增Kubernetes依赖,支持多种计算集群后端的任务管理。BatchJob模块加入Java项目子模块中,纳入完整的CICD集成流程。本周项目正式通过2021年信通院可信开源项目评审,并在代码上升级Hadoop-common依赖版本解决潜在风险问题,修复项目License依赖风险问题。

欢迎更多开发者关注和参与OpenMLDB开源项目。

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表:时辰时间24时制子时深夜11:00凌晨01:0023:0001:00丑时上午01:00上午03:0001:0003:00寅时上午03:00上午0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这