AI 推理系列（十六）：PagedAttention——为什么 vLLM 能把 GPU 显存“像操作系统一样”管理？
围绕在线大模型服务中动态增长的 KV Cache，解释 PagedAttention 如何通过逻辑块、物理块和块表实现按需分配，并分析内部碎片、Copy-on-Write、Prefix Caching、Continuous Batching 及长上下文场景中的工程边界。
#LLM Serving
共 3 篇文章
AI 推理系列（十八）：SnapKV——为什么模型真正关注的历史 Token，可能不到 10%？
围绕长上下文 Decode 中持续增长的 KV Cache，解释 SnapKV 如何利用 Prompt 末尾观察窗口估计各 Attention Head 的关键历史位置，并分析按 Head 选择、局部聚合、显存与带宽收益、多轮 Agent 失效以及指令遵循风险。
AI 推理系列（九）：Chunked Prefill 如何避免长 Prompt 阻塞在线大模型服务
解释长 Prompt Prefill 如何阻塞在线 Decode，以及 Chunked Prefill 如何通过分块和混合调度改善流式延迟，并分析 Chunk Size、Token Budget、TTFT、TPOT、Goodput 与 Prefill-Decode 分离之间的工程取舍。