GPU Execution Model：为什么大量 Warps 能隐藏内存延迟？

hust.111qqz@gmail.com (111qqz) — Sat, 14 Nov 2026 12:50:00 +0800

之前写了 GPU 存储层级、Register Tiling 和 Cache Tiling、FlashAttention 的分块策略——这些文章都在讨论"怎么减少数据搬运"、“怎么让数据在片上多用几次”。但我发现自己一直跳过了一个更前面的问题：GPU 到底怎么执行这些 kernel？

从 Register Tiling 到 Cache Tiling：理解高性能计算中的 Data Reuse

hust.111qqz@gmail.com (111qqz) — Thu, 12 Nov 2026 19:00:00 +0800

最近在看 CMU 15-442 的 Hardware Acceleration。课件翻到 Register Tiling，一个 2×3 output tile 的例子。我盯着那页 slide 看了一会儿——Register Tiling 这个词不陌生，但要我说清楚它和 Cache Tiling 的区别，以及它们到底在优化什么，我发现自己的理解一直停在"把矩阵切成小块"这个表面。

CMU15-442 on 111qqz的小窝

GPU Execution Model：为什么大量 Warps 能隐藏内存延迟？

从 Register Tiling 到 Cache Tiling：理解高性能计算中的 Data Reuse