PagedAttention 的块表机制：按块管理 KV Cache 如何减少显存碎片并提升在线服务吞吐
面向 vLLM 在线服务场景，解释 PagedAttention 为何把 KV Cache 切成固定大小的逻辑块、用块表映射到非连续物理块，并按需分配。文章对比连续缓存与块式缓存的显存占用和调度灵活性，分析块大小对碎片率与吞吐的影响，并给出可观测信号、失败模式与适用边界。
#显存管理
共 2 篇文章
KV Cache 驱逐策略：H2O 如何通过注意力分数识别重要 Token 并压缩缓存
长上下文在线服务中，KV Cache 随序列长度线性增长，成为显存瓶颈。本文聚焦 H2O 方法，解释其如何基于注意力分数识别 Heavy Hitter Token 并动态驱逐低价值 KV 对，对比 LRU、StreamingLLM 等策略，分析对生成质量、显存与延迟的影响，并讨论适用边界与实现复杂度。