归纳头如何驱动上下文学习：从模式复制到少样本分类的机制与边界
本文以少样本分类为场景，解释归纳头如何通过注意力复制前文模式并预测后续 token。梳理其双层注意力实现、与任务向量和函数向量的关系，并分析上下文学习的能力边界与失效条件，为理解 Transformer 的涌现能力提供机制视角。
#Transformer
共 6 篇文章
注意力头剪枝：为什么删除部分注意力头反而能提升模型性能？
本文以机器翻译模型压缩为场景，解释注意力头剪枝如何通过识别冗余头减少计算量，分析剪枝后性能提升的机制，对比结构化剪枝与稀疏剪枝，讨论推理部署中的收益与风险。
检索头机制：Transformer 如何通过特定注意力头实现上下文信息检索
本文以企业知识库问答为场景，分析 Transformer 中检索头（Retrieval Heads）的机制：它们如何通过注意力模式从长上下文中提取信息，与普通注意力头的差异，以及如何通过头消融实验验证其功能。同时讨论在 RAG 和长上下文模型中的应用与局限性。
AI 推理系列（七）：Mixture-of-Depths：让不同 Token 获得不同 Transformer 计算深度
围绕在线大模型推理中的固定深度计算开销，解释 Mixture-of-Depths 如何用固定容量路由让部分 Token 跳过 Transformer Block，并分析它与 MoE、Early Exit、KV Cache、Gather/Scatter 和 GPU 规则计算之间的工程权衡。
AI 推理系列（六）：RoPE 如何编码 Token 距离：从旋转位置到长上下文扩展
从 Self-Attention 不具备天然顺序感这一问题出发，解释 RoPE 如何通过旋转 Query 和 Key 注入位置关系，并梳理 Position Interpolation、YaRN、LongRoPE 等上下文扩展方法的机制、工程边界与长文本系统中的真实瓶颈。
AI 推理系列（二）：FlashAttention 如何用 IO 感知分块加速 Transformer 注意力计算
从 GPU 内存层级与 Attention 中间矩阵的数据流出发，解释 FlashAttention 如何通过分块计算、online softmax 和片上数据复用减少 HBM 读写，并分析 FlashAttention-2、长上下文训练、prefill 与逐 Token 解码中的实际收益和工程边界。