#DeepSeek-V3

DeepSeek-V3 的多 Token 预测：额外预测头如何提升训练效率并支持投机解码

本文以训练 DeepSeek-V3 为场景，解析多 Token 预测（MTP）的机制：如何通过串行预测头让模型同时学习多个未来 token，共享嵌入与输出头以控制开销，并在推理时用于投机解码。文章对比 MTP 与单 Token 预测、并行多头方案，分析其样本效率、推理加速收益及实现复杂度。