投机解码中草稿模型的选择：从独立小模型到自推测架构的工程权衡
本文以在线大模型服务为场景，对比投机解码中独立小模型、Medusa/EAGLE 自推测架构与多模型投机三条草稿模型构建路线，分析训练成本、接受率、显存开销与加速比的权衡，并讨论低接受率与长序列下的失效边界及工程调优方法。
#EAGLE
共 4 篇文章
投机解码中的拒绝采样：为什么接受率不是唯一决定加速比的因素
本文以在线大模型服务为场景，解释投机解码中拒绝采样如何保证输出分布与目标模型一致，分析接受率、草稿模型成本、验证批大小与加速比的关系，对比 Medusa、EAGLE 等变体，讨论低接受率或长序列下的失效边界与工程调优方法。
AI 推理系列（十三）：EAGLE——为什么预测“下一个 Token”不如预测模型内部的“思维特征”？
围绕大模型逐 Token 解码的串行瓶颈，解释 EAGLE 为什么把 Draft 从离散 Token 预测转向目标模型隐藏 Feature 预测，并分析 Feature Uncertainty、候选验证、接受长度、Draft 成本、Batch 与在线服务中的真实加速边界。
AI 推理系列（一）：Speculative Decoding 如何加速大模型推理：从候选生成到并行验证
围绕在线大模型服务的逐 Token 生成瓶颈，解释 Speculative Decoding 如何用低成本候选生成配合目标模型并行验证减少串行解码轮次，并分析接受率、Draft 成本、KV Cache、连续批处理、Medusa 与 EAGLE 等工程权衡。