vLLM 前缀缓存的块哈希:不同请求的 KV 块为何会被误判为可复用
在线服务开启自动前缀缓存后,两个前缀不同的请求有时会命中同一批 KV 块。文章从块哈希的链式计算讲起,说明哈希键遗漏模型、适配器身份或发生碰撞时错误复用的路径,并给出校验点、可观测指标与隔离方案的成本对比。
共 1 篇文章
在线服务开启自动前缀缓存后,两个前缀不同的请求有时会命中同一批 KV 块。文章从块哈希的链式计算讲起,说明哈希键遗漏模型、适配器身份或发生碰撞时错误复用的路径,并给出校验点、可观测指标与隔离方案的成本对比。