WIBLOG · Technological & Life

聊技术,也聊那些值得认真琢磨的生活小事。

402篇文章6个内容分类
RECENT NOTES

最近更新

查看归档

vLLM 0.11.1 前缀缓存下,同名 LoRA 适配器为何共用 KV 块

同时开启 LoRA 与前缀缓存时,vLLM 0.11.1 把 lora_name 当作块哈希的 LoRA 额外键,同名但权重不同的两个适配器会命中同一批 KV 块,第二个请求读到按第一份权重算出的缓存。文章解释这条因果链,说明它只在适配器同名且前缀缓存开启时出现,并给出唯一命名与对照实验的自查方法。

查看全部文章 ↗