注意力沉没 Token 的数值离群：低比特 KV Cache 量化为何在首 Token 上误差最大
长上下文在线推理中，逐 Token 均匀量化 KV Cache 往往在首 Token 附近误差最大。文章从 Attention Sink 与极端激活离群出发，解释 Key 向量为何在首 Token 出现数值尖峰，比较离群通道保留、分组量化与混合精度三种处理方式，并给出可观测指标与失效边界。
#量化
共 4 篇文章
KV Cache 量化中的旋转位置编码误差：为什么 RoPE 让逐 token 量化失效
长上下文推理中 KV Cache 已成为显存主要占用，量化压缩却常出现逐 token 方案精度骤降。文章从 RoPE 的旋转机制出发，解释它如何在维度间制造数值差异、破坏逐 token 量化范围，并对比逐通道、分组与旋转感知量化的适用边界与失效条件。
KV Cache 量化为何在长上下文下推高困惑度：INT8 的误差累积与缓解路径
长文本生成服务中，KV Cache 量化能显著降低显存占用，但 INT8 等低精度方案在长上下文下常导致困惑度上升。本文从键值缓存的数据分布出发，解释误差如何随序列长度累积，对比逐 token、逐通道与 SmoothQuant 等方案的精度-显存权衡，并给出 GQA/MHA 下的适用边界与可观测指标。
AI 推理系列（四）：KV Cache 量化如何压缩长上下文推理：从 KIVI 到混合精度缓存
围绕长上下文和高并发推理中的显存瓶颈，解释 KV Cache 量化为何需要区别处理 Key 与 Value，分析 KIVI、KVQuant 等方案的量化粒度、离群值处理与运行时开销，并讨论它与 GQA、PagedAttention、Prefix Caching 的组合边界。