vllm:面向大语言模型的高吞吐推理与服务引擎
面向大语言模型的高吞吐推理与服务引擎。
vllm-project/vllm ↗Python ☆ 96,964 Apache-2.0
GitHub 数据采集于 2026年11月16日,以仓库当前信息为准。
为什么推荐适合需要部署模型 API、比较批处理与推理吞吐的工程团队。
项目介绍
面向大语言模型的高吞吐推理与服务引擎。
适合什么场景
适合需要部署模型 API、比较批处理与推理吞吐的工程团队。
建议如何开始
先核对模型格式、硬件与运行内存要求,选择可在当前设备运行的模型完成一次推理,再比较延迟和资源占用。
授权与资料
仓库标识的许可证为 Apache-2.0。具体授权范围、第三方依赖和模型权重许可请查看仓库原文。本文根据公开资料整理,未对全部功能进行独立实测。
由社区成员推荐收录。 · 2026年11月16日
访问 GitHub ↗