vLLM 多 LoRA 适配器混批解码:Punica 内核、批内碎片与吞吐下降
在线服务同时托管多个 LoRA 适配器时,把不同适配器的请求混进同一批为什么反而拖慢解码?文章从 vLLM 的 LoRA 请求路由、Punica 分组内核与 max_loras 显存预留讲起,分析适配器数量增长带来的批内碎片,并给出可观测指标、失败模式与部署边界。
共 2 篇文章
在线服务同时托管多个 LoRA 适配器时,把不同适配器的请求混进同一批为什么反而拖慢解码?文章从 vLLM 的 LoRA 请求路由、Punica 分组内核与 max_loras 显存预留讲起,分析适配器数量增长带来的批内碎片,并给出可观测指标、失败模式与部署边界。
面向 vLLM 在线服务场景,解释 PagedAttention 为何把 KV Cache 切成固定大小的逻辑块、用块表映射到非连续物理块,并按需分配。文章对比连续缓存与块式缓存的显存占用和调度灵活性,分析块大小对碎片率与吞吐的影响,并给出可观测信号、失败模式与适用边界。