KV Cache 量化为何在长上下文下推高困惑度：INT8 的误差累积与缓解路径
长文本生成服务中，KV Cache 量化能显著降低显存占用，但 INT8 等低精度方案在长上下文下常导致困惑度上升。本文从键值缓存的数据分布出发，解释误差如何随序列长度累积，对比逐 token、逐通道与 SmoothQuant 等方案的精度-显存权衡，并给出 GQA/MHA 下的适用边界与可观测指标。
#推理优化
共 8 篇文章
GPT-OSS 的 MoE 路由机制：稀疏专家与共享专家如何影响推理效率
本文以 GPT-OSS 模型为例，解析其 MoE 架构中稀疏专家与共享专家的设计，以及路由机制、负载均衡和专家并行策略。通过对比传统 MoE，分析推理部署中的显存、吞吐与质量权衡，帮助读者理解 MoE 模型在单卡和分布式场景下的实际表现与优化方向。
对比解码：为什么同时运行专家模型与业余模型能提升生成质量？
本文以开放域问答为场景，解释对比解码（Contrastive Decoding）如何通过专家模型与业余模型的 logits 差异抑制退化重复，分析其与温度采样、top-p 的互补性，讨论计算开销、延迟影响及在长文本生成中的适用边界。
KV Cache 管理策略对比：vLLM 的 PagedAttention 与 SGLang 的 RadixAttention
在线大模型服务中，KV Cache 的显存分配与复用直接决定吞吐与延迟。本文对比 vLLM 的 PagedAttention 与 SGLang 的 RadixAttention，解释块式分页、前缀树复用、驱逐策略与调度差异，并给出不同工作负载下的选型建议。
注意力头剪枝：为什么删除部分注意力头反而能提升模型性能？
本文以机器翻译模型压缩为场景，解释注意力头剪枝如何通过识别冗余头减少计算量，分析剪枝后性能提升的机制，对比结构化剪枝与稀疏剪枝，讨论推理部署中的收益与风险。
KV Cache 驱逐策略：H2O 如何通过注意力分数识别重要 Token 并压缩缓存
长上下文在线服务中，KV Cache 随序列长度线性增长，成为显存瓶颈。本文聚焦 H2O 方法，解释其如何基于注意力分数识别 Heavy Hitter Token 并动态驱逐低价值 KV 对，对比 LRU、StreamingLLM 等策略，分析对生成质量、显存与延迟的影响，并讨论适用边界与实现复杂度。
KV Cache 驱逐策略：从 LRU 到 H2O 的注意力感知淘汰机制
长上下文在线服务中，KV Cache 随序列增长迅速膨胀，成为显存与延迟瓶颈。本文以企业知识库问答为场景，对比 LRU、滑动窗口与 H2O 等驱逐策略，解释注意力感知淘汰为何更有效，分析其对生成质量、显存和延迟的影响，并讨论适用边界与实现复杂度。
AI 推理系列（七）：Mixture-of-Depths：让不同 Token 获得不同 Transformer 计算深度
围绕在线大模型推理中的固定深度计算开销，解释 Mixture-of-Depths 如何用固定容量路由让部分 Token 跳过 Transformer Block，并分析它与 MoE、Early Exit、KV Cache、Gather/Scatter 和 GPU 规则计算之间的工程权衡。