HelloWorld 开发者社区

运维与云原生

云原生 AI 工程化实践之 FasterTransformer 加速 LLM 推理

01背景OpenAI在3月15日发布了备受瞩目的GPT4,它在司法考试和程序编程领域的惊人表现让大家对大语言模型的热情达到了顶点。人们纷纷议论我们是否已经跨入通用人工智能的时代。与此同时,基于大语言模型的应用也如雨后春笋般出现,为我们带来了协同办公、客服对话、语言翻译、内容

FinOps 应用入门指南

入门指南介绍什么是FinOps?FinOps是一种云成本管理和优化的解决方案,并为组织、企业、团队提供了系统化的方法论,其中每个人都应该对自己的云资源成本负责。FinOps是“Finance”和“DevOps”的合成词,强调业务团队和研发团队的沟通和协作。也被

Koordinator 异构资源/任务调度实践

_作者:李涛(吕风)_前言Koordinator是阿里云基于过去我们建设的统一调度系统中积累的技术和实践经验,对外开源了新一代的调度系统。Koordinator支持Kubernetes上多种工作负载的混部调度。它的目标是提高工作负载的运行时效率和可靠性(包括延迟敏感型负载和

山东布谷科技直播软件源码Nginx服务器横向扩展:搭建更稳定的平台服务

在直播软件源码平台中,服务器扮演着重要的角色,关系着视频传输、数据处理、用户管理等工作的顺利完成。随着互联网的迅猛发展,直播行业也随之崛起,全世界的人们都加入到了直播软件源码平台中,用户流量的增加让服务器的负载压力越来越大,当服务器的负载能力达到一定的限度时,服务器就可能崩溃,如果服务器出现崩溃,直

天翼云加速落地紫金DPU实践应用,让算力供给更高效!

近日,以“智驱创新·芯动未来”为主题的第三届DPU峰会在北京成功举办。会上,天翼云凭借紫金DPU在架构革新、算力释放、场景落地等多方面的成果,荣膺“2023芯星品牌奖”,技术实力与品牌影响力再获行业认可。天翼云科技有限公司基础架构事业部高/级产品经理雷晓龙在技术生态论坛发表了题为“天翼云紫金DPU产

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。