vLLM sleep 模式唤醒后,旧 KV cache 还会保留吗
文章说明 vLLM sleep 模式唤醒 kv_cache 时是重新分配预留显存而非恢复旧内容,解释唤醒时大块分配为何可能 OOM,区分单进程同模型休眠与多模型切换,并交代 sleep level 2 丢弃 buffer 的证据边界。
共 1 篇文章
文章说明 vLLM sleep 模式唤醒 kv_cache 时是重新分配预留显存而非恢复旧内容,解释唤醒时大块分配为何可能 OOM,区分单进程同模型休眠与多模型切换,并交代 sleep level 2 丢弃 buffer 的证据边界。