归纳头如何驱动上下文学习：从模式复制到少样本分类的机制与边界
本文以少样本分类为场景，解释归纳头如何通过注意力复制前文模式并预测后续 token。梳理其双层注意力实现、与任务向量和函数向量的关系，并分析上下文学习的能力边界与失效条件，为理解 Transformer 的涌现能力提供机制视角。
#注意力机制
共 4 篇文章
上下文位置偏置：为什么长上下文模型在 RAG 中仍会遗漏关键信息
长上下文模型宣称能处理百万级 token，但在长文档问答中仍会遗漏中间位置的关键信息。本文以企业知识库问答为场景，解释 Lost in the Middle 现象的成因，对比重排、检索增强和滑动窗口等缓解策略，并讨论在 RAG 流水线中的工程取舍。
上下文位置偏置：为什么大模型对长文档中间信息“视而不见”？
本文以长文档问答为场景，解释大模型对上下文不同位置信息利用率差异的现象，即“Lost in the Middle”问题。分析注意力分布与训练数据截断等成因，对比截断、重排、检索增强等缓解策略，并讨论在RAG流水线中的工程取舍，帮助读者理解并应对长上下文利用的挑战。
KV Cache 驱逐策略：从 LRU 到 H2O 的注意力感知淘汰机制
长上下文在线服务中，KV Cache 随序列增长迅速膨胀，成为显存与延迟瓶颈。本文以企业知识库问答为场景，对比 LRU、滑动窗口与 H2O 等驱逐策略，解释注意力感知淘汰为何更有效，分析其对生成质量、显存和延迟的影响，并讨论适用边界与实现复杂度。