KV Cache 量化如何压缩长上下文推理：从 KIVI 到混合精度缓存
围绕长上下文和高并发推理中的显存瓶颈，解释 KV Cache 量化为何需要区别处理 Key 与 Value，分析 KIVI、KVQuant 等方案的量化粒度、离群值处理与运行时开销，并讨论它与 GQA、PagedAttention、Prefix Caching 的组合边界。
#KV Cache
共 2 篇文章
Grouped-Query Attention 如何压缩 KV Cache：MHA、MQA 与 GQA 的工程权衡
围绕长上下文在线推理中的 KV Cache 显存压力，解释 Grouped-Query Attention 如何让多组 Query Head 共享更少的 Key/Value Head，并分析它与 MHA、MQA、PagedAttention、FlashAttention 的边界、吞吐收益和质量权衡。