KV Cache 量化为何在长上下文下推高困惑度：INT8 的误差累积与缓解路径
长文本生成服务中，KV Cache 量化能显著降低显存占用，但 INT8 等低精度方案在长上下文下常导致困惑度上升。本文从键值缓存的数据分布出发，解释误差如何随序列长度累积，对比逐 token、逐通道与 SmoothQuant 等方案的精度-显存权衡，并给出 GQA/MHA 下的适用边界与可观测指标。
#长上下文
共 10 篇文章
上下文位置偏置：为什么长上下文模型在 RAG 中仍会遗漏关键信息
长上下文模型宣称能处理百万级 token，但在长文档问答中仍会遗漏中间位置的关键信息。本文以企业知识库问答为场景，解释 Lost in the Middle 现象的成因，对比重排、检索增强和滑动窗口等缓解策略，并讨论在 RAG 流水线中的工程取舍。
上下文位置偏置：为什么大模型对长文档中间信息“视而不见”？
本文以长文档问答为场景，解释大模型对上下文不同位置信息利用率差异的现象，即“Lost in the Middle”问题。分析注意力分布与训练数据截断等成因，对比截断、重排、检索增强等缓解策略，并讨论在RAG流水线中的工程取舍，帮助读者理解并应对长上下文利用的挑战。
Activation Beacon：用压缩激活值实现无限上下文流式推理
面对超长文档问答场景，本文解析 Activation Beacon 如何通过压缩历史 token 的激活值而非 KV Cache 实现无限上下文流式推理，对比 StreamingLLM 的注意力沉没方案，分析压缩率、信息保留与推理速度的权衡，并给出工程实现要点与失效边界。
检索头机制：Transformer 如何通过特定注意力头实现上下文信息检索
本文以企业知识库问答为场景，分析 Transformer 中检索头（Retrieval Heads）的机制：它们如何通过注意力模式从长上下文中提取信息，与普通注意力头的差异，以及如何通过头消融实验验证其功能。同时讨论在 RAG 和长上下文模型中的应用与局限性。
AI 推理系列（十八）：SnapKV——为什么模型真正关注的历史 Token，可能不到 10%？
围绕长上下文 Decode 中持续增长的 KV Cache，解释 SnapKV 如何利用 Prompt 末尾观察窗口估计各 Attention Head 的关键历史位置，并分析按 Head 选择、局部聚合、显存与带宽收益、多轮 Agent 失效以及指令遵循风险。
AI 推理系列（十一）：Ring Attention 如何让多张 GPU 共同计算一条超长序列
围绕百万 Token 长上下文的单卡容量瓶颈，解释 Ring Attention 如何沿序列维度切分 Q/K/V，让 KV Block 在多张 GPU 间环形流动并与本地计算重叠，同时分析 online softmax、Context Parallelism、Ulysses、GQA 与跨节点网络带宽之间的工程权衡。
AI 推理系列（六）：RoPE 如何编码 Token 距离：从旋转位置到长上下文扩展
从 Self-Attention 不具备天然顺序感这一问题出发，解释 RoPE 如何通过旋转 Query 和 Key 注入位置关系，并梳理 Position Interpolation、YaRN、LongRoPE 等上下文扩展方法的机制、工程边界与长文本系统中的真实瓶颈。
AI 推理系列（四）：KV Cache 量化如何压缩长上下文推理：从 KIVI 到混合精度缓存
围绕长上下文和高并发推理中的显存瓶颈，解释 KV Cache 量化为何需要区别处理 Key 与 Value，分析 KIVI、KVQuant 等方案的量化粒度、离群值处理与运行时开销，并讨论它与 GQA、PagedAttention、Prefix Caching 的组合边界。
AI 推理系列（二）：FlashAttention 如何用 IO 感知分块加速 Transformer 注意力计算
从 GPU 内存层级与 Attention 中间矩阵的数据流出发，解释 FlashAttention 如何通过分块计算、online softmax 和片上数据复用减少 HBM 读写，并分析 FlashAttention-2、长上下文训练、prefill 与逐 Token 解码中的实际收益和工程边界。