vLLM 0.11.1 前缀缓存下,同名 LoRA 适配器为何共用 KV 块
同时开启 LoRA 与前缀缓存时,vLLM 0.11.1 把 lora_name 当作块哈希的 LoRA 额外键,同名但权重不同的两个适配器会命中同一批 KV 块,第二个请求读到按第一份权重算出的缓存。文章解释这条因果链,说明它只在适配器同名且前缀缓存开启时出现,并给出唯一命名与对照实验的自查方法。
共 3 篇文章
同时开启 LoRA 与前缀缓存时,vLLM 0.11.1 把 lora_name 当作块哈希的 LoRA 额外键,同名但权重不同的两个适配器会命中同一批 KV 块,第二个请求读到按第一份权重算出的缓存。文章解释这条因果链,说明它只在适配器同名且前缀缓存开启时出现,并给出唯一命名与对照实验的自查方法。
在线服务开启自动前缀缓存后,两个前缀不同的请求有时会命中同一批 KV 块。文章从块哈希的链式计算讲起,说明哈希键遗漏模型、适配器身份或发生碰撞时错误复用的路径,并给出校验点、可观测指标与隔离方案的成本对比。
在线服务同时托管多个 LoRA 适配器时,把不同适配器的请求混进同一批为什么反而拖慢解码?文章从 vLLM 的 LoRA 请求路由、Punica 分组内核与 max_loras 显存预留讲起,分析适配器数量增长带来的批内碎片,并给出可观测指标、失败模式与部署边界。