注意力沉没 Token 的数值离群：低比特 KV Cache 量化为何在首 Token 上误差最大
长上下文在线推理中，逐 Token 均匀量化 KV Cache 往往在首 Token 附近误差最大。文章从 Attention Sink 与极端激活离群出发，解释 Key 向量为何在首 Token 出现数值尖峰，比较离群通道保留、分组量化与混合精度三种处理方式，并给出可观测指标与失效边界。
#长上下文
共 11 篇文章
KV Cache 量化为何在长上下文下推高困惑度：INT8 的误差累积与缓解路径
长文本生成服务中，KV Cache 量化能显著降低显存占用，但 INT8 等低精度方案在长上下文下常导致困惑度上升。本文从键值缓存的数据分布出发，解释误差如何随序列长度累积，对比逐 token、逐通道与 SmoothQuant 等方案的精度-显存权衡，并给出 GQA/MHA 下的适用边界与可观测指标。
上下文位置偏置：为什么长上下文模型在 RAG 中仍会遗漏关键信息
长上下文模型宣称能处理百万级 token，但在长文档问答中仍会遗漏中间位置的关键信息。本文以企业知识库问答为场景，解释 Lost in the Middle 现象的成因，对比重排、检索增强和滑动窗口等缓解策略，并讨论在 RAG 流水线中的工程取舍。
上下文位置偏置：为什么大模型对长文档中间信息“视而不见”？
本文以长文档问答为场景，解释大模型对上下文不同位置信息利用率差异的现象，即“Lost in the Middle”问题。分析注意力分布与训练数据截断等成因，对比截断、重排、检索增强等缓解策略，并讨论在 RAG 流水线中的工程取舍，帮助读者理解并应对长上下文利用的挑战。
Activation Beacon：用压缩激活值实现无限上下文流式推理
面对超长文档问答场景，本文解析 Activation Beacon 如何通过压缩历史 token 的激活值而非 KV Cache 实现无限上下文流式推理，对比 StreamingLLM 的注意力沉没方案，分析压缩率、信息保留与推理速度的权衡，并给出工程实现要点与失效边界。
检索头机制：Transformer 如何通过特定注意力头实现上下文信息检索
本文以企业知识库问答为场景，分析 Transformer 中检索头（Retrieval Heads）的机制：它们如何通过注意力模式从长上下文中提取信息，与普通注意力头的差异，以及如何通过头消融实验验证其功能。同时讨论在 RAG 和长上下文模型中的应用与局限性。
AI 推理系列（十八）：SnapKV——为什么模型真正关注的历史 Token，可能不到 10%？
围绕长上下文 Decode 中持续增长的 KV Cache，解释 SnapKV 如何利用 Prompt 末尾观察窗口估计各 Attention Head 的关键历史位置，并分析按 Head 选择、局部聚合、显存与带宽收益、多轮 Agent 失效以及指令遵循风险。
AI 推理系列（十一）：Ring Attention 如何让多张 GPU 共同计算一条超长序列
围绕百万 Token 长上下文的单卡容量瓶颈，解释 Ring Attention 如何沿序列维度切分 Q/K/V，让 KV Block 在多张 GPU 间环形流动并与本地计算重叠，同时分析 online softmax、Context Parallelism、Ulysses、GQA 与跨节点网络带宽之间的工程权衡。
AI 推理系列（六）：RoPE 如何编码 Token 距离：从旋转位置到长上下文扩展
从 Self-Attention 不具备天然顺序感这一问题出发，解释 RoPE 如何通过旋转 Query 和 Key 注入位置关系，并梳理 Position Interpolation、YaRN、LongRoPE 等上下文扩展方法的机制、工程边界与长文本系统中的真实瓶颈。
AI 推理系列（四）：KV Cache 量化如何压缩长上下文推理：从 KIVI 到混合精度缓存
围绕长上下文和高并发推理中的显存瓶颈，解释 KV Cache 量化为何需要区别处理 Key 与 Value，分析 KIVI、KVQuant 等方案的量化粒度、离群值处理与运行时开销，并讨论它与 GQA、PagedAttention、Prefix Caching 的组合边界。
AI 推理系列（二）：FlashAttention 如何用 IO 感知分块加速 Transformer 注意力计算
从 GPU 内存层级与 Attention 中间矩阵的数据流出发，解释 FlashAttention 如何通过分块计算、online softmax 和片上数据复用减少 HBM 读写，并分析 FlashAttention-2、长上下文训练、prefill 与逐 Token 解码中的实际收益和工程边界。