KV Cache 量化中的旋转位置编码误差：为什么 RoPE 让逐 token 量化失效
长上下文推理中 KV Cache 已成为显存主要占用，量化压缩却常出现逐 token 方案精度骤降。文章从 RoPE 的旋转机制出发，解释它如何在维度间制造数值差异、破坏逐 token 量化范围，并对比逐通道、分组与旋转感知量化的适用边界与失效条件。
#RoPE
共 2 篇文章
AI 推理系列（六）：RoPE 如何编码 Token 距离：从旋转位置到长上下文扩展
从 Self-Attention 不具备天然顺序感这一问题出发，解释 RoPE 如何通过旋转 Query 和 Key 注入位置关系，并梳理 Position Interpolation、YaRN、LongRoPE 等上下文扩展方法的机制、工程边界与长文本系统中的真实瓶颈。