FlashAttention

2026

GPU 的数据存在哪？——从 HBM 到片上存储的存储层级

Oct 21, 2026·2379 words·5 mins

Deep-Learning Gpu-Performance HBM FlashAttention 6.S191 Ml-Infra

最近在看 MIT 6.S191 Lecture 9 的时候，反复听到一句话：Data Movement Matters。之前写过 Arithmetic Intensity 和 Compute/Memory Bound，也刚写完 FlashAttention 的分块和 Online Softmax。这些文章里"HBM"和"片上存储"出现了很多次，但我发现自己其实一直没有认真想过一个问题：HBM 到底是什么？它全称叫 High Bandwidth Memory——高带宽内存——既然带宽已经很高了，为什么还要费这么大劲减少对它的访问？

FlashAttention 的核心思想：为什么 Attention Matrix 根本不需要存下来？

Oct 21, 2026·4480 words·9 mins

Deep-Learning Attention FlashAttention Ml-Infra Gpu-Performance

之前的几篇把 Self-Attention 的公式拆得比较清楚了，从 QKV 的计算含义到 Multi-Head 的分工。另一条线是 GPU 性能——Arithmetic Intensity、memory bound、HBM 带宽这些概念也已经聊过。关于 HBM 和片上存储的物理区别，可以参考GPU 存储层级那篇。