又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

大刀
• 阅读 704

作者:木吴

关注阿里云云原生公众号,后台回复关键词【FC】查看论文原文!

近日,阿里云函数计算产品团队撰写的关于 Serverless 调度的创新性论文被 ACM SoCC 国际会议长文录用。

又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

去年阿里云函数计算团队首个提出在 FaaS 场景下的去中心化快速镜像分发技术,团队所作论文被计算机系统领域的顶级会议 USENIX ATC’21 录用,入选中国计算机协会(CCF)推荐 A 类国际会议列表(👉详情点击阅读);今年阿里云函数计算不断突破:发布基于函数画像的调度算法论文并被国际云计算的首要会议 ACM SoCC 录用,真正做到能够保证提升函数资源利用率的同时,达到性能高稳定性。

ACM Symposium on Cloud Computing(以下简称 SoCC)是由美国计算机协会主办、聚焦云计算技术的一项学术会议,是云计算的首要会议。它汇集了对云计算感兴趣的研究人员、开发人员、用户和实践者,是唯一由 SIGMOD(数据管理特别兴趣组)和 SIGOPS(操作系统特别兴趣组)联合主办的会议, 这个会议在近些年蓬勃发展,旨在聚集数据库和计算机系统两大领域的学者,共同推进云计算技术在工业界的研究与发展。

此次被录用的论文为《Owl: Performance-Aware Scheduling for Resource-Efficient Function-as-a-Service Cloud》。

论文灵感诞生于阿里云 Serverless 产品函数计算,函数计算是阿里云的函数即服务(Function-As-A-Service)产品。阿里云函数计算是事件驱动的全托管计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,并提供日志查询、性能监控、报警等功能。现阶段已经覆盖了事件驱动、音视频处理、游戏、物联网、新零售、AI 等实际业务场景,并服务于阿里云、高德、支付宝、淘宝、CBU 等多个业务或项目中。

又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

上图是一个经典的 FaaS 调度系统的架构,调度器负载将不同的函数实例调度到集群中的节点上运行。由于 FaaS 产品函数数量多、函数粒度小、执行时间短的特点,节点的资源利用率较低。简单地将更多的实例调度到同一个节点上虽然能够一定程度地提升资源利用率,但是也带来了资源争抢和性能下降。

论文针对这个问题创新地提出了基于函数画像的调度算法,在提高资源利用率的同时达到了较好的性能稳定性

  1. 对于高频调用的函数,调度器会识别不同函数实例在同一个节点共置时的性能表现,以此指导函数实例的调度;
  2. 对于低频调用的函数,调度器会统计其执行过程中的实际资源消耗,以此来指导函数实例的调度,同时调度器会监控函数的执行延时,当出现延时上升时通过隔离的手段进行缓解;
  3. 调度器还针对闲置的实例进行迁移,将它们从利用率低的节点迁移到利用率高的节点以释放闲置节点。

又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

为了评估算法的效果,论文根据生产环境典型的函数负载,抽象了 10 个函数,它们覆盖了不同的编程语言、资源消耗、执行时长、外部依赖。列表如下:

又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

实验结果表明,在 100 个节点规模下,OWL 调度算法能够节省 43.8% 的资源,同时函数执行延时没有明显的增加

又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

调度延时也没有明显增加

又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

目前 OWL 的函数画像能力也已经应用在函数计算线上环境,并取得了不错的效果。此次论文入选 ACM SoCC,是阿里云在 Serverless 调度领域的又一次创新。

附论文信息

All On Serverless

《Owl: Performance-Aware Scheduling for Resource-Efficient Function-as-a-Service Cloud》

作者:田黄石,李苏毅,王骜,王威,吴天龙,杨皓然

论文概述:在云计算中,FaaS 是一种非常流行的产品形态,主流的云产商都提供了对应的平台。作为平台构建者我们观察到大部分的函数实例的 CPU 和内存利用率都不高,造成集群节点的利用率也不高。一个简单的做法是在节点上超额放置更多的函数实例,但是这可能会带来资源争抢和性能下降。另外,函数的外部依赖也可能导致函数的性能下降。

在本文中,我们设计了 OWL 调度系统来解决这些问题,达到高资源利用率和性能稳定性。对于低频调用的函数,调度器会统计其执行过程中的实际资源消耗,以此来指导函数实例的调度,同时调度器会监控函数的执行延时,当出现延时上升时通过隔离的手段进行缓解;对于高频调用的函数,调度器会识别不同函数实例在同一个节点共置时的性能表现,以此指导函数实例的调度。同时调度器还针对闲置的实例进行迁移,将它们从利用率低的节点迁移到利用率高的节点以释放闲置节点。我们实现了 OWL 原型系统并根据生产环境的负载构造了一组测试集。实验结果表明,OWL 调度系统能够减少 43.8% 的资源消耗并有效缓解性能下降。

点击此处,直达阿里云函数计算 FC!

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Peter20 Peter20
4年前
mysql中like用法
like的通配符有两种%(百分号):代表零个、一个或者多个字符。\(下划线):代表一个数字或者字符。1\.name以"李"开头wherenamelike'李%'2\.name中包含"云",“云”可以在任何位置wherenamelike'%云%'3\.第二个和第三个字符是0的值wheresalarylike'\00%'4\
Stella981 Stella981
3年前
Serverless 的初心、现状和未来
!头图.png(https://ucc.alicdn.com/pic/developerecology/0cb568c6e5f04eb8af51c7645d43fe1b.png)作者|不瞋 阿里云高级技术专家\\导读:\\Serverless是如何产生的?当前有哪些落地场景?Serverless的未来又将如何?本文分享了阿里云
Stella981 Stella981
3年前
Knative Serverless 之道:如何 0 运维、低成本实现应用托管?
作者|牛秋霖(冬岛) 阿里云容器平台技术专家关注“阿里巴巴云原生”公众号,回复关键词\\“1205”\\即可观看KnativeDemo演示视频。导读:Serverless无疑是当前最热的云原生话题,那么作为业务的开发人员或者运维人员咱们应该怎么看待这个事情?云原生和Serverless到底有什么关
Stella981 Stella981
3年前
Serverless 在大规模数据处理的实践
!1.png(https://ucc.alicdn.com/pic/developerecology/721886c0cca14facb10d8ffc92cab3e0.png)作者| 西流 阿里云技术专家<关注阿里巴巴云原生公众号,后台回复 606 即可下载相关PPT前言当您第一次接触Serverless的时候
Stella981 Stella981
3年前
Istio 网关之南北向流量管理(内含服务网格专家亲自解答)
!头图.png(https://ucc.alicdn.com/pic/developerecology/d03a14fd0eb14c8394dcca009e945e3d.png)作者|王夕宁 阿里巴巴高级技术专家参与阿里巴巴云原生公众号文末留言互动,有机会获得赠书福利!本文摘自于由阿里云高级技术专家王夕宁撰写的《Istio 服
登上国际舞台!天翼云P4 EIP网关流量管理创新方案亮相CCGrid 2024!
5月8日,第24届IEEE/ACM集群、云和互联网计算国际研讨会(CCGrid2024)在美国费城隆重举行。来自中国、美国、印度、法国等国家的学术及产业界代表齐聚一堂,围绕云计算相关议题进行深入探讨和交流,并带来最前沿的技术展示。天翼云云网产品事业部弹性网络产品线总监侯叶飞出席大会硬件系统和网络分论坛,对本次被CCGrid长文收录的论文《TowardsBetterQoSandLowerCostsofP4EIPGatewayattheEdge》进行专业解析,并分享了天翼云在开放数据中心网络及可编程网关领域的创新与实践经验,再次彰显了天翼云的技术创新实力。
“翼”鸣惊人,天翼云两篇论文被ACM ICPP 2024收录!
近日,由天翼云科技有限公司弹性计算产品线天玑实验室撰写的两篇论文《PheCon:FineGrainedVMConsolidationwithNimbleResourceDefragmentationinPublicCloudPlatforms》及《Yggdrasil:ReducingNetworkI/OTaxwith(CXLBased)DistributedSharedMemory》被ACMInternationalConferenceonParallelProcessing(ICPP)收录。
国际“论”剑!天翼云数据库论文被EDBT收录!
近日,由天翼云数据库团队、中国电信云计算研究院和深圳北理莫斯科大学合作完成的《Taste:TowardsPracticalDeepLearningbasedApproachesforSemanticTypeDetectionintheCloud》(构建云上基于深度学习的大规模语义类型识别系统)论文被28thInternationalConferenceonExtendingDatabaseTechnology(EDBT)长文收录。
再获权威认可!天翼云论文被IEEE/ACM CCGrid收录
近日,由天翼云弹性网络开拓者团队撰写的《TowardsBetterQoSandLowerCostsofP4EIPGatewayattheEdge》论文被The24thIEEE/ACMInternationalSymposiumonCluster,Cloud,andInternetComputing (CCGrid2024) 长文收录。