读 vLLM v0.34.0 源码,弄清 KV 缓存怎样分配显存
文章目录
开源推理引擎 vLLM v0.34.0 在 CUDA 和 ROCm 上默认启用可扩展 KV 缓存,并移除了 Model Runner V1。版本公告解释,新默认值会在图捕获与预热之后,根据实际空闲显存确定缓存容量。已有推理服务需要重新检查显存配额、启动参数和高并发时的延迟。v0.34.0 发布说明
从 GPU Worker 找到显存预算入口
KV 缓存保存模型对已处理 Token 计算出的注意力键和值,让后续生成可以复用这些结果。服务同时接收更多长请求时,缓存需求通常随在途 Token 增长。在源码里,可以从 vllm/v1/worker/gpu_worker.py 的 determine_available_memory() 开始读。该方法负责探测模型内存并给出缓存可用的字节数,适合作为追踪启动配置如何变成实际显存预算的入口。GPU Worker 源码
源码还有一个值得单独看的分支。显式提供 kv_cache_memory_bytes 时,Worker 仍执行用于编译的 profile run,缓存预算则采用配置的字节值,该分支不采用 gpu_memory_utilization。读这两个配置时,应先确认部署模板实际下发了哪些值。两套看起来一样的镜像,可能因为环境变量或启动模板里遗留的容量值而产生不同的缓存上限。默认启用可扩展缓存涉及的修改可以继续读上游 PR。默认缓存策略变更
升级先检查兼容项
使用 VLLM_USE_V2_MODEL_RUNNER=0 的部署需要移除旧开关,发布说明明确称保留它会导致启动失败。自行编写过 V1 logits processor 的团队也需要检查移植路径。此次默认块大小从 16 改为 64,部分后端有自己的选择,例如 ROCm paged attention 仍用 16。AMD 部署还应核对镜像标签,版本公告写明已停止发布 ROCm 7.2 产物。升级说明
独占卡可以先试默认配置,观察预热后的缓存容量与服务峰值显存。GPU 同时运行向量检索或其他模型时,应按实际共卡预算保留显式限额,并让其他进程参与压力测试。发布说明记录了缓存更大时部分模型的高并发解码延迟也可能上升,因此需要同时关注首 Token 延迟和持续生成的速度。
用真实流量形状验收
在同一硬件和模型版本上,准备短问短答、长文档短答案、长输出三组请求,再按线上比例混合。每组从低并发逐步加量,记录 P95 首 Token 延迟、每输出 Token 耗时、吞吐和失败数,同时保存进程启动时的实际缓存容量。只看平均吞吐容易漏掉长请求挤占缓存时短请求的排队变化。
灰度时可以选择一台独立实例承接少量流量,保留旧镜像及对应启动配置。发生回退时成对恢复镜像与参数,可以减少把新默认值带入旧运行环境的机会。版本说明里的吞吐数据来自上游环境,本站这篇解读以发布记录和对应标签源码为依据。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论