束搜索解码:为什么增大束宽反而降低生成质量?
束搜索是机器翻译和文本生成中常用的解码策略,但增大束宽并不总是提升质量,反而可能导致重复、空洞的译文。本文以机器翻译为场景,解释束搜索如何维护多个候选序列、长度偏置与过度约束如何导致质量下降,并对比贪心解码、采样与束搜索的适用边界,讨论长度归一化与惩罚项的工程权衡。
共 1 篇文章
束搜索是机器翻译和文本生成中常用的解码策略,但增大束宽并不总是提升质量,反而可能导致重复、空洞的译文。本文以机器翻译为场景,解释束搜索如何维护多个候选序列、长度偏置与过度约束如何导致质量下降,并对比贪心解码、采样与束搜索的适用边界,讨论长度归一化与惩罚项的工程权衡。