KV-Cache on 111qqz's bloghttps://111qqz.com/en/tags/kv-cache/Recent content in KV-Cache on 111qqz's blogHugo -- gohugo.ioenhust.111qqz@gmail.com (111qqz)hust.111qqz@gmail.com (111qqz)© 2011-2026 111qqzThu, 05 Nov 2026 21:55:00 +0800从 MHA 到 GQA：为什么现代 LLM 不再为每个 Query Head 分配独立的 KV？https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-11-05-mha-to-gqa-kv-cache/Thu, 05 Nov 2026 21:55:00 +0800hust.111qqz@gmail.com (111qqz)https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-11-05-mha-to-gqa-kv-cache/<p>写完 <a href="https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-09-19-multi-head-attention/" >Multi-Head Attention</a> 和 <a href="https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-10-27-causal-attention-autoregressive-training/" >Causal Attention</a> 之后，我一直觉得 Attention 这条线已经差不多了——公式拆过了，routing space 的 factorization 也想明白了，Causal Mask 的因果约束也理清了。</p> <p>直到最近看 Llama 2 的模型配置，发现一行让我停下来的参数：</p>