TAG

#LoRA

共 3 篇文章

vLLM 0.11.1 前缀缓存下,同名 LoRA 适配器为何共用 KV 块

同时开启 LoRA 与前缀缓存时,vLLM 0.11.1 把 lora_name 当作块哈希的 LoRA 额外键,同名但权重不同的两个适配器会命中同一批 KV 块,第二个请求读到按第一份权重算出的缓存。文章解释这条因果链,说明它只在适配器同名且前缀缓存开启时出现,并给出唯一命名与对照实验的自查方法。