投机解码的树状注意力验证：一次前向如何并行校验多条候选路径
在线大模型服务中，投机解码的树状候选如何借助自定义注意力掩码在一次前向里并行校验多条路径。文章解释掩码构造、KV Cache 布局、接受长度与验证批大小的关系，对比线性链式验证，并给出低接受率下的失效边界与可观测指标。
#LLM 推理
共 8 篇文章
AI 推理系列（十四）：Mamba 的 Selective State Space——不用 Attention，模型如何“记住”长序列？
从长日志流和持续生成场景出发，解释 Mamba 如何用输入相关的选择性状态更新替代持续增长的 KV Cache，分析 Selective Scan、Mamba-2 的 SSD、Mamba-3 的状态表达能力，以及线性复杂度在 GPU 与真实推理系统中的收益边界。
AI 推理系列（十三）：EAGLE——为什么预测“下一个 Token”不如预测模型内部的“思维特征”？
围绕大模型逐 Token 解码的串行瓶颈，解释 EAGLE 为什么把 Draft 从离散 Token 预测转向目标模型隐藏 Feature 预测，并分析 Feature Uncertainty、候选验证、接受长度、Draft 成本、Batch 与在线服务中的真实加速边界。
AI 推理系列（十）：MLA 如何用低秩压缩重构 KV Cache：从 DeepSeek-V2 到 FlashMLA
围绕长上下文推理中的 KV Cache 容量与带宽瓶颈，解释 Multi-head Latent Attention 如何通过低秩 KV 联合压缩只缓存潜在表示，并分析 Decoupled RoPE、GQA/量化差异、Kernel 融合以及训练与推理路径中的工程权衡。
AI 推理系列（八）：Prefix Caching 如何减少 Agent 重复 Prefill：从 KV 复用到 RadixAttention
围绕 Agent、RAG 与多轮对话中反复出现的长 System Prompt、工具定义和历史前缀，解释 Prefix Caching 如何复用已计算的 KV Cache，分析 vLLM Block Hash、SGLang RadixAttention、缓存淘汰、多级存储及命中率对 TTFT 与吞吐的影响。
AI 推理系列（四）：KV Cache 量化如何压缩长上下文推理：从 KIVI 到混合精度缓存
围绕长上下文和高并发推理中的显存瓶颈，解释 KV Cache 量化为何需要区别处理 Key 与 Value，分析 KIVI、KVQuant 等方案的量化粒度、离群值处理与运行时开销，并讨论它与 GQA、PagedAttention、Prefix Caching 的组合边界。
AI 推理系列（三）：Grouped-Query Attention 如何压缩 KV Cache：MHA、MQA 与 GQA 的工程权衡
围绕长上下文在线推理中的 KV Cache 显存压力，解释 Grouped-Query Attention 如何让多组 Query Head 共享更少的 Key/Value Head，并分析它与 MHA、MQA、PagedAttention、FlashAttention 的边界、吞吐收益和质量权衡。
AI 推理系列（一）：Speculative Decoding 如何加速大模型推理：从候选生成到并行验证
围绕在线大模型服务的逐 Token 生成瓶颈，解释 Speculative Decoding 如何用低成本候选生成配合目标模型并行验证减少串行解码轮次，并分析接受率、Draft 成本、KV Cache、连续批处理、Medusa 与 EAGLE 等工程权衡。