#推理调度

vLLM 显存打满时为何重算请求：抢占、KV Cache 换出与恢复路径的工程权衡

在线服务显存打满后，vLLM 会抢占部分请求并释放其 KV 块。本文解释调度器为何选择重算而非继续解码，换出到 CPU 与重算两条恢复路径在延迟和吞吐上的差异，以及块表回收、水位阈值和并发上限的调参边界与可观测指标。