#长上下文推理

KV Cache 量化中的旋转位置编码误差：为什么 RoPE 让逐 token 量化失效

长上下文推理中 KV Cache 已成为显存主要占用，量化压缩却常出现逐 token 方案精度骤降。文章从 RoPE 的旋转机制出发，解释它如何在维度间制造数值差异、破坏逐 token 量化范围，并对比逐通道、分组与旋转感知量化的适用边界与失效条件。