MoE 路由的 z-loss 与 logit 钳制:路由器 logits 爆炸如何引发专家塌缩
稀疏 MoE 训练常在数千步后突然发散,根源往往不是任务本身,而是路由器 logits 数值膨胀导致 softmax 饱和、梯度消失与专家塌缩。文章以在线多语言训练服务为贯穿场景,解释 z-loss 如何惩罚 logits、logit 钳制与 float32 路由器精度各自修正了什么,并对比仅用负载均衡损失的方案。
共 2 篇文章
稀疏 MoE 训练常在数千步后突然发散,根源往往不是任务本身,而是路由器 logits 数值膨胀导致 softmax 饱和、梯度消失与专家塌缩。文章以在线多语言训练服务为贯穿场景,解释 z-loss 如何惩罚 logits、logit 钳制与 float32 路由器精度各自修正了什么,并对比仅用负载均衡损失的方案。
稀疏 MoE 训练中,辅助负载均衡损失是防止专家塌缩的常用手段,但它同时会压制专家的领域分化。本文以企业多领域语料训练为例,解释局部与全局均衡的机制差异、与 z-loss 和容量因子的相互作用,并给出可观测指标与失效边界。