#草稿模型

投机解码中草稿模型的选择：从独立小模型到自推测架构的工程权衡

本文以在线大模型服务为场景，对比投机解码中独立小模型、Medusa/EAGLE 自推测架构与多模型投机三条草稿模型构建路线，分析训练成本、接受率、显存开销与加速比的权衡，并讨论低接受率与长序列下的失效边界及工程调优方法。