投机解码的树状注意力验证：一次前向如何并行校验多条候选路径
在线大模型服务中，投机解码的树状候选如何借助自定义注意力掩码在一次前向里并行校验多条路径。文章解释掩码构造、KV Cache 布局、接受长度与验证批大小的关系，对比线性链式验证，并给出低接受率下的失效边界与可观测指标。
#KV Cache
共 17 篇文章
注意力沉没 Token 的数值离群：低比特 KV Cache 量化为何在首 Token 上误差最大
长上下文在线推理中，逐 Token 均匀量化 KV Cache 往往在首 Token 附近误差最大。文章从 Attention Sink 与极端激活离群出发，解释 Key 向量为何在首 Token 出现数值尖峰，比较离群通道保留、分组量化与混合精度三种处理方式，并给出可观测指标与失效边界。
KV Cache 量化中的旋转位置编码误差：为什么 RoPE 让逐 token 量化失效
长上下文推理中 KV Cache 已成为显存主要占用，量化压缩却常出现逐 token 方案精度骤降。文章从 RoPE 的旋转机制出发，解释它如何在维度间制造数值差异、破坏逐 token 量化范围，并对比逐通道、分组与旋转感知量化的适用边界与失效条件。
PagedAttention 的块表机制：按块管理 KV Cache 如何减少显存碎片并提升在线服务吞吐
面向 vLLM 在线服务场景，解释 PagedAttention 为何把 KV Cache 切成固定大小的逻辑块、用块表映射到非连续物理块，并按需分配。文章对比连续缓存与块式缓存的显存占用和调度灵活性，分析块大小对碎片率与吞吐的影响，并给出可观测信号、失败模式与适用边界。
Prefill-Decode 分离：为何将长提示词计算与生成计算拆分到不同实例能提升在线服务吞吐
在线大模型服务中，预填充与解码阶段在资源需求上差异显著，混合部署常导致 GPU 利用率失衡与延迟不稳定。本文以企业知识库问答为场景，解析 PD 分离架构如何将两阶段分配到不同实例，消除相互干扰，并讨论 KV Cache 传输、调度策略、适用边界及与未分离方案的权衡。
KV Cache 量化为何在长上下文下推高困惑度：INT8 的误差累积与缓解路径
长文本生成服务中，KV Cache 量化能显著降低显存占用，但 INT8 等低精度方案在长上下文下常导致困惑度上升。本文从键值缓存的数据分布出发，解释误差如何随序列长度累积，对比逐 token、逐通道与 SmoothQuant 等方案的精度-显存权衡，并给出 GQA/MHA 下的适用边界与可观测指标。
KV Cache 管理策略对比：vLLM 的 PagedAttention 与 SGLang 的 RadixAttention
在线大模型服务中，KV Cache 的显存分配与复用直接决定吞吐与延迟。本文对比 vLLM 的 PagedAttention 与 SGLang 的 RadixAttention，解释块式分页、前缀树复用、驱逐策略与调度差异，并给出不同工作负载下的选型建议。
KV Cache 驱逐策略：H2O 如何通过注意力分数识别重要 Token 并压缩缓存
长上下文在线服务中，KV Cache 随序列长度线性增长，成为显存瓶颈。本文聚焦 H2O 方法，解释其如何基于注意力分数识别 Heavy Hitter Token 并动态驱逐低价值 KV 对，对比 LRU、StreamingLLM 等策略，分析对生成质量、显存与延迟的影响，并讨论适用边界与实现复杂度。
KV Cache 驱逐策略：从 LRU 到 H2O 的注意力感知淘汰机制
长上下文在线服务中，KV Cache 随序列增长迅速膨胀，成为显存与延迟瓶颈。本文以企业知识库问答为场景，对比 LRU、滑动窗口与 H2O 等驱逐策略，解释注意力感知淘汰为何更有效，分析其对生成质量、显存和延迟的影响，并讨论适用边界与实现复杂度。
Activation Beacon：用压缩激活值实现无限上下文流式推理
面对超长文档问答场景，本文解析 Activation Beacon 如何通过压缩历史 token 的激活值而非 KV Cache 实现无限上下文流式推理，对比 StreamingLLM 的注意力沉没方案，分析压缩率、信息保留与推理速度的权衡，并给出工程实现要点与失效边界。
提示词缓存如何降低大模型 API 调用成本：Anthropic 与 OpenAI 的实现与失效条件
本文以企业批量调用大模型 API 为场景，解析提示词缓存如何通过复用前缀的 KV 状态减少重复预填充计算，并对比 Anthropic 与 OpenAI 的缓存机制、计费方式、命中条件与失效策略，讨论其对延迟、成本及数据隐私的影响，给出适用边界。
AI 推理系列（十六）：PagedAttention——为什么 vLLM 能把 GPU 显存“像操作系统一样”管理？
围绕在线大模型服务中动态增长的 KV Cache，解释 PagedAttention 如何通过逻辑块、物理块和块表实现按需分配，并分析内部碎片、Copy-on-Write、Prefix Caching、Continuous Batching 及长上下文场景中的工程边界。
AI 推理系列（十二）：Attention Sink——为什么删除最早几个 Token，会让大模型突然“失忆”？
围绕长期 Agent 与流式推理中 KV Cache 持续增长的问题，解释 Attention Sink 为何使纯滑动窗口在删除初始 Token 后出现质量退化，以及 StreamingLLM 如何保留少量 Sink Token 与最近窗口，在固定缓存预算下持续处理数据流，并分析它与真正长上下文和长期记忆的边界。
AI 推理系列（十）：MLA 如何用低秩压缩重构 KV Cache：从 DeepSeek-V2 到 FlashMLA
围绕长上下文推理中的 KV Cache 容量与带宽瓶颈，解释 Multi-head Latent Attention 如何通过低秩 KV 联合压缩只缓存潜在表示，并分析 Decoupled RoPE、GQA/量化差异、Kernel 融合以及训练与推理路径中的工程权衡。
AI 推理系列（八）：Prefix Caching 如何减少 Agent 重复 Prefill：从 KV 复用到 RadixAttention
围绕 Agent、RAG 与多轮对话中反复出现的长 System Prompt、工具定义和历史前缀，解释 Prefix Caching 如何复用已计算的 KV Cache，分析 vLLM Block Hash、SGLang RadixAttention、缓存淘汰、多级存储及命中率对 TTFT 与吞吐的影响。
AI 推理系列（四）：KV Cache 量化如何压缩长上下文推理：从 KIVI 到混合精度缓存
围绕长上下文和高并发推理中的显存瓶颈，解释 KV Cache 量化为何需要区别处理 Key 与 Value，分析 KIVI、KVQuant 等方案的量化粒度、离群值处理与运行时开销，并讨论它与 GQA、PagedAttention、Prefix Caching 的组合边界。
AI 推理系列（三）：Grouped-Query Attention 如何压缩 KV Cache：MHA、MQA 与 GQA 的工程权衡
围绕长上下文在线推理中的 KV Cache 显存压力，解释 Grouped-Query Attention 如何让多组 Query Head 共享更少的 Key/Value Head，并分析它与 MHA、MQA、PagedAttention、FlashAttention 的边界、吞吐收益和质量权衡。