投机解码中草稿模型的选择：从独立小模型到自推测架构的工程权衡
本文以在线大模型服务为场景，对比投机解码中独立小模型、Medusa/EAGLE 自推测架构与多模型投机三条草稿模型构建路线，分析训练成本、接受率、显存开销与加速比的权衡，并讨论低接受率与长序列下的失效边界及工程调优方法。
#Medusa
共 4 篇文章
投机解码中的拒绝采样：为什么接受率不是唯一决定加速比的因素
本文以在线大模型服务为场景，解释投机解码中拒绝采样如何保证输出分布与目标模型一致，分析接受率、草稿模型成本、验证批大小与加速比的关系，对比 Medusa、EAGLE 等变体，讨论低接受率或长序列下的失效边界与工程调优方法。
Medusa 多头投机解码：通过并行候选头加速大模型推理
大模型自回归解码受限于顺序生成，每次只能输出一个 token，导致高延迟和低硬件利用率。Medusa 在原始模型上附加多个预测头，一次生成多个候选 token，并通过树状注意力并行验证，显著减少解码步骤。本文以在线聊天服务为场景，拆解其训练流程、树状注意力机制、典型接受方案，并与传统投机解码对比，分析候选接受率对加速比的影响及适用边界。
AI 推理系列（一）：Speculative Decoding 如何加速大模型推理：从候选生成到并行验证
围绕在线大模型服务的逐 Token 生成瓶颈，解释 Speculative Decoding 如何用低成本候选生成配合目标模型并行验证减少串行解码轮次，并分析接受率、Draft 成本、KV Cache、连续批处理、Medusa 与 EAGLE 等工程权衡。