MoE 专家容量因子与 Token 丢弃：容量溢出如何影响训练质量与推理一致性
训练稀疏 MoE 时，专家容量因子决定每个专家能接收的 token 上限，超出的 token 会被丢弃或经残差绕过。本文以多语言翻译训练为贯穿场景，解释容量因子、负载均衡损失与丢弃率的耦合关系，对比 GShard 与 Switch Transformer 的容量设计，并讨论丢弃对长尾 token 学习、推理期行为差异和可观测指标的影响。
#MoE
共 6 篇文章
MoE 专家并行的 All-to-All 通信瓶颈：专家越多推理延迟为何反而上升
多卡部署稀疏 MoE 时，专家数量增加并不总带来延迟下降。文章以在线推理服务为场景，拆解 token 经 All-to-All 分发与回收的过程，分析跨卡通信量、负载不均和容量因子如何抵消稀疏计算收益，并给出可观测指标与调优边界。
MoE 路由的 z-loss 与 logit 钳制：路由器 logits 爆炸如何引发专家塌缩
稀疏 MoE 训练常在数千步后突然发散，根源往往不是任务本身，而是路由器 logits 数值膨胀导致 softmax 饱和、梯度消失与专家塌缩。文章以在线多语言训练服务为贯穿场景，解释 z-loss 如何惩罚 logits、logit 钳制与 float32 路由器精度各自修正了什么，并对比仅用负载均衡损失的方案。
MoE 路由的负载均衡损失：辅助损失如何防止专家塌缩却引入路由偏差
稀疏 MoE 训练中，辅助负载均衡损失是防止专家塌缩的常用手段，但它同时会压制专家的领域分化。本文以企业多领域语料训练为例，解释局部与全局均衡的机制差异、与 z-loss 和容量因子的相互作用，并给出可观测指标与失效边界。
GPT-OSS 的 MoE 路由机制：稀疏专家与共享专家如何影响推理效率
本文以 GPT-OSS 模型为例，解析其 MoE 架构中稀疏专家与共享专家的设计，以及路由机制、负载均衡和专家并行策略。通过对比传统 MoE，分析推理部署中的显存、吞吐与质量权衡，帮助读者理解 MoE 模型在单卡和分布式场景下的实际表现与优化方向。
AI 推理系列（五）：MoE 专家路由如何实现稀疏激活：从 Router 到专家并行的工程权衡
围绕大规模 MoE 模型的专家路由机制，解释 Token 如何通过 Top-K Router 只激活少量专家，并分析负载均衡、Shared Expert、Expert Parallelism、All-to-All 通信以及真实推理流量下的热点与部署边界。