https://111qqz.com/tags/flashattention/Recent content in FlashAttention on 111qqz的小窝Hugo -- gohugo.iozh-cnhust.111qqz@gmail.com (111qqz)hust.111qqz@gmail.com (111qqz)© 2011-2026 111qqzWed, 21 Oct 2026 19:30:00 +0800https://111qqz.com/2026/10/gpu-memory-hierarchy-data-movement/Wed, 21 Oct 2026 19:30:00 +0800hust.111qqz@gmail.com (111qqz)https://111qqz.com/2026/10/gpu-memory-hierarchy-data-movement/<p>最近在看 MIT 6.S191 Lecture 9 的时候，反复听到一句话：Data Movement Matters。</p> <p>之前写过 <a href="https://111qqz.com/2026/09/arithmetic-intensity-compute-bound/" >Arithmetic Intensity 和 Compute/Memory Bound</a>，也刚写完 <a href="https://111qqz.com/2026/10/flash-attention-tiling-online-softmax/" >FlashAttention 的分块和 Online Softmax</a>。这些文章里&quot;HBM&quot;和&quot;片上存储&quot;出现了很多次，但我发现自己其实一直没有认真想过一个问题：HBM 到底是什么？它全称叫 High Bandwidth Memory——高带宽内存——既然带宽已经很高了，为什么还要费这么大劲减少对它的访问？</p>https://111qqz.com/2026/10/flash-attention-tiling-online-softmax/Wed, 21 Oct 2026 18:00:00 +0800hust.111qqz@gmail.com (111qqz)https://111qqz.com/2026/10/flash-attention-tiling-online-softmax/<p>之前的几篇把 Self-Attention 的公式拆得比较清楚了，从 <a href="https://111qqz.com/2026/09/single-head-attention-qkv/" >QKV 的计算含义</a>到 <a href="https://111qqz.com/2026/09/multi-head-attention/" >Multi-Head 的分工</a>。另一条线是 GPU 性能——<a href="https://111qqz.com/2026/09/arithmetic-intensity-compute-bound/" >Arithmetic Intensity、memory bound、HBM 带宽</a>这些概念也已经聊过。关于 HBM 和片上存储的物理区别，可以参考<a href="https://111qqz.com/2026/10/gpu-memory-hierarchy-data-movement/" >GPU 存储层级那篇</a>。</p>