归纳头如何驱动上下文学习：从模式复制到少样本分类的机制与边界
本文以少样本分类为场景，解释归纳头如何通过注意力复制前文模式并预测后续 token。梳理其双层注意力实现、与任务向量和函数向量的关系，并分析上下文学习的能力边界与失效条件，为理解 Transformer 的涌现能力提供机制视角。
#可解释性
共 2 篇文章
检索头机制：Transformer 如何通过特定注意力头实现上下文信息检索
本文以企业知识库问答为场景，分析 Transformer 中检索头（Retrieval Heads）的机制：它们如何通过注意力模式从长上下文中提取信息，与普通注意力头的差异，以及如何通过头消融实验验证其功能。同时讨论在 RAG 和长上下文模型中的应用与局限性。