#Mistral

滑动窗口注意力：局部窗口与全局缓存如何支撑长文本高效推理

以长文档摘要为场景，解析滑动窗口注意力如何通过限制注意力范围将计算复杂度从平方降为线性，并借助跨层信息传递与KV缓存轮转保留远距离信息。对比全局注意力与稀疏注意力，分析显存、延迟与质量权衡，以及窗口大小对困惑度的影响。