#稀疏激活

MoE 路由的负载均衡损失：辅助损失如何防止专家塌缩却引入路由偏差

稀疏 MoE 训练中，辅助负载均衡损失是防止专家塌缩的常用手段，但它同时会压制专家的领域分化。本文以企业多领域语料训练为例，解释局部与全局均衡的机制差异、与 z-loss 和容量因子的相互作用，并给出可观测指标与失效边界。