MoE 专家并行的 All-to-All 通信瓶颈：专家越多推理延迟为何反而上升
多卡部署稀疏 MoE 时，专家数量增加并不总带来延迟下降。文章以在线推理服务为场景，拆解 token 经 All-to-All 分发与回收的过程，分析跨卡通信量、负载不均和容量因子如何抵消稀疏计算收益，并给出可观测指标与调优边界。
#专家并行
共 2 篇文章
GPT-OSS 的 MoE 路由机制：稀疏专家与共享专家如何影响推理效率
本文以 GPT-OSS 模型为例，解析其 MoE 架构中稀疏专家与共享专家的设计，以及路由机制、负载均衡和专家并行策略。通过对比传统 MoE，分析推理部署中的显存、吞吐与质量权衡，帮助读者理解 MoE 模型在单卡和分布式场景下的实际表现与优化方向。