AI 推理系列(十四):Mamba 的 Selective State Space——不用 Attention,模型如何“记住”长序列?
从长日志流和持续生成场景出发,解释 Mamba 如何用输入相关的选择性状态更新替代持续增长的 KV Cache,分析 Selective Scan、Mamba-2 的 SSD、Mamba-3 的状态表达能力,以及线性复杂度在 GPU 与真实推理系统中的收益边界。
共 1 篇文章
从长日志流和持续生成场景出发,解释 Mamba 如何用输入相关的选择性状态更新替代持续增长的 KV Cache,分析 Selective Scan、Mamba-2 的 SSD、Mamba-3 的状态表达能力,以及线性复杂度在 GPU 与真实推理系统中的收益边界。