开源无国界,从openEuler Maintainer到Spark Committer的贡献开源之路

逆熵闭包
• 阅读 885

2022年10月初,openEuler Maintainer 姜逸坤接受Apache Spark PMC邀请,正式成为Apache Spark Committer(核心贡献者)[1]。

他的主要贡献是Apache Spark在基础设施、云原生、PySpark等方向的改进。

开源之路,从懵懂到深入

姜逸坤2016年加入华为计算开源团队,先后成为OpenStack社区 (OpenInfra基金会) Core Member、openEuler社区 (开放原子开源基金会) Maintainer、Volcano社区 (CNCF基金会) Reviewer、Spark社区 (Apache基金会) Committer,横跨多个顶级开源社区的经历让他快速完成知识积累和个人成长,而他对于技术和开源的热爱始终如一。

从多样性算力支持到Apache Spark核心贡献者

penEuler 作为最优支持多样性算力的原生操作系统,支持x86、ARM、RISC-V、LoongArch、SW64 等多种处理器架构,而开源社区的应用软件多架构支持最初并不完善,应用软件的短板使得openEuler社区用户无法充分、便利地发挥多样性算力的最大价值。

早在2019年,逸坤所在团队就开始了开源社区的多架构支持工作,在Apache Spark社区,他与团队成员和Spark社区协作共同完成了ARM64架构的适配,并且在Apache Spark 3.0.0版本正式支持ARM64架构(SPARK-30057),为Spark社区添加了 ARM CI 确保Spark在ARM64平台持续可用(SPARK-29106)。

随着在Spark社区贡献的逐步深入,他所做的工作从最初的多样性算力适配,慢慢地变为多样性算力架构级的增强。2021年11月,逸坤作为第一作者,联合华为、Apple、Netflix、Cloudera等开发者在Spark社区共同完成特性的设计和代码开发——《Spark-36057: 支持Spark on Kubernetes自定义调度功能》,并以Apache Spark + Volcano调度系统作为参考实现合入到社区,最终在Apache Spark 3.3.0版本作为亮点特性发布,增强了Spark多样性算力调度能力。随后,openEuler社区中的众多大数据用户(如华为、亚信、中国系统等),开始集成该方案到其下游的产品和服务中,以增强队列调度、资源预留、多样性算力调度的能力。“Upstream first”,并积极推动下游开源用户使用,是他一直坚持的理念。

近期,他在Apache Spark社区发起了一个新的提案——《SPARK-40513: 为Spark提供Docker官方镜像支持》,这个提案为Apache Spark社区提供官方容器镜像规范、标准及参考实现,并发布镜像,目前已获得Spark社区全票通过。这为后续诸如openEuler等操作系统更高效、更高质量地完成定制Spark大数据应用镜像奠定了基础。

同时,逸坤通过他在云计算、云原生、基础设施、ARM CI等领域的积累,为Apache Spark社区的基础设施稳定和优化付出了很多努力。最终,顺利获得了Apache Spark社区的认可,成为Apache Spark Committer。

让openEuler与外部开源社区更好的连接、融合

Apache Spark社区的贡献仅仅是一个缩影,逸坤和他所在的团队持续活跃在openEuler社区的大数据、OpenStack、云原生、HPC、基础设施等SIG组,努力将openEuler社区连接并融入到更广阔的开源世界。也欢迎更多的人加入进来,让openEuler社区与外部开源社区更好融合,产生更多伟大的合作与创新!

[1] Welcome Yikun Jiang as a Spark committer https://lists.apache.org/thre...

[2] SPIP: Support Customized Kubernetes Schedulers https://issues.apache.org/jir...

[3] SPIP: Support Docker Official Image for Spark https://issues.apache.org/jir...

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Wesley13 Wesley13
4年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Peter20 Peter20
4年前
mysql中like用法
like的通配符有两种%(百分号):代表零个、一个或者多个字符。\(下划线):代表一个数字或者字符。1\.name以"李"开头wherenamelike'李%'2\.name中包含"云",“云”可以在任何位置wherenamelike'%云%'3\.第二个和第三个字符是0的值wheresalarylike'\00%'4\
Wesley13 Wesley13
4年前
2019 年 CNCF 中国云原生调查报告
!头图.jpg(https://ucc.alicdn.com/pic/developerecology/6db0c465111b4d9a96eb1ffe85c00e7a.jpg)中国72%的受访者生产中使用Kubernetes在CNCF,为更好地了解开源和云原生技术的使用,我们定期调查社区。这是第三次中国云原生调查,以中文进行
Wesley13 Wesley13
4年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Wesley13 Wesley13
4年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
4年前
PHP创建多级树型结构
<!lang:php<?php$areaarray(array('id'1,'pid'0,'name''中国'),array('id'5,'pid'0,'name''美国'),array('id'2,'pid'1,'name''吉林'),array('id'4,'pid'2,'n
Python进阶者 Python进阶者
2年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
逆熵闭包
逆熵闭包
Lv1
三生的思念酿成鸠酒哽在我咽喉.
文章
5
粉丝
0
获赞
0