https://111qqz.com/tags/vllm/Recent content in VLLM on 111qqz的小窝Hugo -- gohugo.iozh-cnhust.111qqz@gmail.com (111qqz)hust.111qqz@gmail.com (111qqz)© 2011-2026 111qqzTue, 10 Nov 2026 18:30:00 +0800https://111qqz.com/2026/11/paged-attention-kv-cache-memory-management/Tue, 10 Nov 2026 18:30:00 +0800hust.111qqz@gmail.com (111qqz)https://111qqz.com/2026/11/paged-attention-kv-cache-memory-management/<p><a href="https://111qqz.com/2026/11/llm-inference-stateful-generation/" >前一篇</a>写完之后，KV Cache 在我脑子里的形象已经变了——它不再是一次 forward 里的临时中间量，而是一个跨多轮存活、随 Decode 持续增长、每个请求各自独立的状态。</p> <p>但&quot;知道它是有状态的&quot;和&quot;知道怎么管它&quot;是两件事。当我开始想具体的内存管理问题的时候，发现事情比想象的复杂。</p>