KV Cache 驱逐策略：H2O 如何通过注意力分数识别重要 Token 并压缩缓存
长上下文在线服务中，KV Cache 随序列长度线性增长，成为显存瓶颈。本文聚焦 H2O 方法，解释其如何基于注意力分数识别 Heavy Hitter Token 并动态驱逐低价值 KV 对，对比 LRU、StreamingLLM 等策略，分析对生成质量、显存与延迟的影响，并讨论适用边界与实现复杂度。
#显存管理
共 1 篇文章
共 1 篇文章
长上下文在线服务中，KV Cache 随序列长度线性增长，成为显存瓶颈。本文聚焦 H2O 方法，解释其如何基于注意力分数识别 Heavy Hitter Token 并动态驱逐低价值 KV 对，对比 LRU、StreamingLLM 等策略，分析对生成质量、显存与延迟的影响，并讨论适用边界与实现复杂度。