← 返回开源项目
社区推荐 · OPEN SOURCE

vllm:面向大语言模型的高吞吐推理与服务引擎

面向大语言模型的高吞吐推理与服务引擎。

vllm-project/vllm ↗
Python ☆ 96,964 Apache-2.0

GitHub 数据采集于 2026年11月16日,以仓库当前信息为准。

为什么推荐

适合需要部署模型 API、比较批处理与推理吞吐的工程团队。

项目介绍

面向大语言模型的高吞吐推理与服务引擎。

适合什么场景

适合需要部署模型 API、比较批处理与推理吞吐的工程团队。

建议如何开始

先核对模型格式、硬件与运行内存要求,选择可在当前设备运行的模型完成一次推理,再比较延迟和资源占用。

授权与资料

仓库标识的许可证为 Apache-2.0。具体授权范围、第三方依赖和模型权重许可请查看仓库原文。本文根据公开资料整理,未对全部功能进行独立实测。

由社区成员推荐收录。 · 2026年11月16日

访问 GitHub ↗