京东云张晨 受邀参加KCD 杭州站 x OpenInfra Days China,分享AI时代的大型集群数据处理之道

京东云开发者
• 阅读 1

AI正在重塑一切,驱动云原生基础设施经历其诞生以来最深刻的变革。这一变革对底层设施提出了前所未有的新要求:更极致的弹性伸缩、更高效的算力利用、更复杂的跨域调度和更全面的安全防护。面对如此系统性的挑战,单一技术栈或社区已难以给出完美答案。

KCD(Kubernetes Community Days,Kubernetes 社区日)是由社区组织的活动,汇聚开源和云原生领域的采用者和技术人员,旨在促进教育、协作和交流。KCD 活动由云原生计算基金会(CNCF)提供支持。

OpenInfra Days 每年由开源社区生态系统中的本地用户组和公司组织和主办,包含主题演讲、分组会议甚至研讨会。这是一个绝佳的机会,在活动上可以直接聆听杰出的开源基础设施领导者的演讲,学习用户案例,建立人脉,并融入当地社区。

今年由两个社区组织联合发起的开创性融合盛会,标志着云计算领域两大核心基础设施技术的深度协作与创新。它充分展现了开源社区的开放精神和跨社区协作的强大力量,我们将共同推动 AI 与云计算技术 的进步与发展。

本次会议由 京东,亚马逊, Nvidia, 阿里,蚂蚁,字节,百度,华为,中科院, Linux foundation等国内外顶级专家学者分享CNCF/openinfra相关技术议题。本次会议JDOS 的Chen因Kata container等开源社区贡献受邀参加此次会议并做出技术分享。 京东云张晨 受邀参加KCD 杭州站 x OpenInfra Days China,分享AI时代的大型集群数据处理之道 作为对共同挑战的回应,KCD杭州站与OpenInfra Days China将于11月15日在杭州首度联合举办,共同呈现一场开创性的技术盛会。这标志着围Kubernetes敏捷应用编排与OpenInfra稳定基础设施构建的两大生态,正主动打破壁垒,迈向融合协同的新阶段。

京东云张晨 受邀参加KCD 杭州站 x OpenInfra Days China,分享AI时代的大型集群数据处理之道

京东云高级工程师张晨受邀将在本次大会中进行分享,他的主题是《大型集群中的数据处理:如何兼顾效率、可拓展性与可持续性》。 Chen Zhang

Chen Zhang is a staff software engineer at JD cloud and a maintainer of the

QEMU project. He works in the virtualization field for many years. As an accomplished speaker, Chen has presented at several international conferences, including KVM Forum 2022, Xen Summit 2019, LinuxCon China 2017, Open Source Summit Japan 2017, and CLK 2022, among others. 京东云张晨 受邀参加KCD 杭州站 x OpenInfra Days China,分享AI时代的大型集群数据处理之道

在AI驱动的数据洪流时代,大规模集群的数据处理能力是衡量云基础设施核心竞争力的关键。张晨将基于京东云在超大规模复杂场景下的深厚实践,分享如何构建既高效、又可平滑扩展,同时保证长期运营可持续性的数据处理架构与策略。他的分享将为业界同行应对相似挑战提供宝贵的思路与实战经验。 京东云张晨 受邀参加KCD 杭州站 x OpenInfra Days China,分享AI时代的大型集群数据处理之道

运营大型 Kubernetes 集群的企业面临一个关键难题:如何在不牺牲容器性能与密度的前提下实现强隔离。通过采用 Kata 容器,京东云成功实现了安全与性能隔离,并支持在线应用与离线任务在数十万个节点上的共处而彼此互不干扰,大幅提高物理 CPU 的利用率以节省巨额成本。这一方式在“618 购物节”期间显著降低能耗。本次演讲将深入解析京东在部署 Kata 容器中的历程,涵盖架构设计、动机出发点及关键性能指标。另外分享京东自研的Kata Disk I/O 性能加速技术,对比默认配置可最高提升40%的通用磁盘性能。我将分享一套经实际部署的方案经验,如何在严苛的真实场景中基于虚拟机的隔离提升安全性与效率,并剖析其实际应用价值与注意事项。

京东云高级工程师-张晨 《大型集群中的数据处理:如何兼顾效率、可拓展性与可持续性》现场分享内容

点赞
收藏
评论区
推荐文章
Stella981 Stella981
4年前
Serverless Kubernetes 容器服务介绍
作者|张维阿里巴巴高级技术专家导读:ServerlessKubernetes是以容器和kubernetes为基础的Serverless服务,它提供了一种简单易用、极致弹性、最优成本和按需付费的Kubernetes容器服务,其无需节点管理和运维,无需容量规划,让用户更关注应用而非基础设施的管理。我们可以把Serverless
Wesley13 Wesley13
4年前
AI云原生浅谈:好未来AI中台实践
AI时代的到来,给企业的底层IT资源的丰富与敏捷提出了更大的挑战,利用阿里云稳定、弹性的GPU云服务器,领先的GPU容器化共享和隔离技术,以及K8S集群管理平台,好未来通过云原生架构实现了对资源的灵活调度,为其AI中台奠定了敏捷而坚实的技术底座。在2020年云栖大会上,好未来AI中台负责人刘东东,分享了他对AI云原生的理解与好未来的AI中台实践,本文为演
Stella981 Stella981
4年前
Service Mesh在微服务中的使用
ServiceMesh是什么?在微服务架构中怎么体现其价值?ServiceMesh(服务网格)是一个基础设施层,让服务之间的通信更安全、快速和可靠。如果你在构建云原生应用,那么就需要ServiceMesh。ServiceMesh已经成为云原生技术栈里的一个关键组件。很多拥有高负载流量业务的公司都在他们的生产应用里加入了Service
迎接智算新挑战,天翼云亮相全球架构师峰会!
近日,ArchSummit全球架构师峰会在深圳隆重开幕,本次大会以“智能进阶.架构重塑”为主题,探讨AI浪潮下,企业架构如何适应大模型和云原生的时代趋势,寻找既有应用成果又有成本效益的解决方案。国内外100余名顶尖专家齐聚一堂,围绕AI、大模型、云原生等话题展开深度交流。天翼云云网产品事业部研发专家黄坚受邀参会,并在“智算平台建设与应用实践”专题会上发表主题演讲,分享了天翼云在超大规模智算集群运维及管理方面的创新思路和实践经验。
数据堂 数据堂
4个月前
AI赋能安防:开启智能守护新时代
在科技飞速发展的时代,人工智能技术正以前所未有的速度重塑安防行业的格局。从早期的简单视频监控到如今的智能化、自动化安防系统,AI技术的应用为城市安全、交通管理、公共秩序维护等诸多方面带来了深刻变革。
京东云开发者 京东云开发者
2个月前
从英伟达到国产算力:一场必须打赢的“迁移之战”
在当今数字化时代,人工智能(AI)技术正以前所未有的速度改变着我们的生活和工作方式。AI应用的广泛落地离不开强大的算力支持,而GPU作为AI计算的核心硬件,一直是推动AI发展的关键力量。然而,随着国际形势的变化和技术竞争的加剧,依赖单一供应商的GPU芯片已
产品经理克星 产品经理克星
1个月前
Nature重磅:微软推出革命性光学计算机!近屿智能助你抢占AI未来先机
计算范式正在被重塑,你准备好了吗?近日,计算领域传来一则震撼消息:微软剑桥研究院与巴克莱银行的研究团队在顶级期刊《Nature》上联合发表论文,推出了一种名为模拟光学计算机(AOC)的革命性设备。这一突破不仅有望解决当前AI发展中最棘手的能耗与算力瓶颈,更
产品经理克星 产品经理克星
3星期前
AI算力战争升级:从英伟达到华为,近屿智能助你抢占职业新赛道!
近日,关于企业AI算力平台从英伟达向华为迁移的讨论沸沸扬扬。这不仅是供应链的简单切换,更是一场关乎未来AI产业格局的深层变革。对于每一位AI从业者和有志于此的学习者而言,这场变革背后,隐藏着巨大的挑战与机遇。新闻背景:AI算力战场,风起云涌长期以来,英伟达
“息壤”引领首个算力互联互通验证平台建设,天翼云开启算力互联网新纪元!
6月21日,“2023算力互联互通大会”在北京召开。天翼云基于自主研发的云操作系统、紫金DPU、算力分发网络平台“息壤”等能力,作为算力互联互通验证平台的设计方、核心建设者、资源提供者与标准制定者,充分展现了跨服务商、跨架构、跨地域的算力互联互通能力,作为开源社区首批成员与核心贡献者推进国产开源社区体系构建,致力于打造全国算力一体化调度、算力资源跨区域高效配置的基础设施,推动算力产业高质量发展,加快数字中国建设
构建一体化云原生安全防御体系,京东云云原生安全平台重磅发布
当用户充分利用原生云能力进行应用设计、部署和运维时,云原生也面临新的安全挑战,例如镜像漏洞与投毒、编排软件漏洞、不安全配置利用、容器逃逸等。面对这样的风险,京东云重磅发布云原生安全平台,包含资产清点、镜像安全、运行时安全、网络安全、集群安全、节点安全等安全