sglang:面向大模型及多模态模型的推理服务框架
面向大模型及多模态模型的推理服务框架。
sgl-project/sglang ↗Python ☆ 38,898 Apache-2.0
GitHub 数据采集于 2026年11月16日,以仓库当前信息为准。
为什么推荐适合评估自建模型服务的吞吐、部署方式和硬件适配。
项目介绍
面向大模型及多模态模型的推理服务框架。
适合什么场景
适合评估自建模型服务的吞吐、部署方式和硬件适配。
建议如何开始
先核对模型格式、硬件与运行内存要求,选择可在当前设备运行的模型完成一次推理,再比较延迟和资源占用。
授权与资料
仓库标识的许可证为 Apache-2.0。具体授权范围、第三方依赖和模型权重许可请查看仓库原文。本文根据公开资料整理,未对全部功能进行独立实测。
由社区成员推荐收录。 · 2026年11月16日
访问 GitHub ↗