#树状注意力

Medusa 多头投机解码：通过并行候选头加速大模型推理

大模型自回归解码受限于顺序生成，每次只能输出一个 token，导致高延迟和低硬件利用率。Medusa 在原始模型上附加多个预测头，一次生成多个候选 token，并通过树状注意力并行验证，显著减少解码步骤。本文以在线聊天服务为场景，拆解其训练流程、树状注意力机制、典型接受方案，并与传统投机解码对比，分析候选接受率对加速比的影响及适用边界。