最近的文章
caffe 源码阅读笔记
·30 字·1 分钟
caffe做部署是YYDS!
blob
layer
net
激活函数
卷积
reshape
slice
loss function
reduce
eltwise
argmax
Memory Banking:为什么不同的内存地址,不一定能同时访问?
·5210 字·11 分钟
之前写 Register Tiling 和 Cache Tiling 的时候,提到了 GPU 上的高性能 GEMM kernel 会把输入矩阵的 tile 搬到 Shared Memory。当时只关注了 data reuse 的部分。
后来在看矩阵转置的 CUDA 实现时,碰到了一行让我停下来的代码:
1__shared__ float tile[32][33]; // 为什么是 33? 这是一个经典的 Padding trick,用来消除 Shared Memory 的 Bank Conflict。道理我大概知道,但要我解释清楚——为什么 32 列会冲突?为什么 33 列就不冲突?32 和 33 这两个数字的差异到底对应什么硬件行为?——我发现自己说不出来。
NVIDIA MPS:既然有 CUDA Streams,为什么还需要跨进程并发?
·4621 字·10 分钟
之前在写 GPU Execution Model 的时候,我对 SM、Warp、Block 这些概念已经有了基本的理解。但最近碰到一个场景让我停下来想了一会儿:我们有两个独立的推理服务共享同一张 A100,各自的 GPU 利用率都不高,直觉上 GPU 应该有很多空闲的执行资源。
Kahan Summation:用一个补偿变量挽回 FP32 累加丢失的精度
·2302 字·5 分钟
上一篇从浮点误差谈到 GPU 计算时,我提到了 H20 上的精度取舍:量化特征要做横截面累加,而 FP64 吞吐受限,直接用 FP32 又需要留意累加误差。Kahan 补偿求和看起来是个值得考虑的工具,但当时我把它的能力说得太满了。
Numerical Stability in ML Systems:从浮点误差到 GPU 计算
·10339 字·21 分钟
起因:H20 上 FP64 只有 1 TFLOPS,但计算要的是双精度 # 写这篇笔记的直接原因是一块 H20。业务里有一块对数值精度敏感的计算,需要接近 FP64 的结果,但 H20 的 FP64 算力只有 1 TFLOPS。对照同一张卡的其他规格,这个数字有多别扭很直观:FP32 是 44 TFLOPS,FP16/BF16 Tensor Core 是 148 TFLOPS,FP8 是 296 TFLOPS,FP64 只有 1——不到 FP32 的四十分之一,而满血的 H100 上 FP64 是 34 TFLOPS。
GPU Execution Model:为什么大量 Warps 能隐藏内存延迟?
·3238 字·7 分钟
之前写了 GPU 存储层级、Register Tiling 和 Cache Tiling、FlashAttention 的分块策略——这些文章都在讨论"怎么减少数据搬运"、“怎么让数据在片上多用几次”。但我发现自己一直跳过了一个更前面的问题:GPU 到底怎么执行这些 kernel?
从 Register Tiling 到 Cache Tiling:理解高性能计算中的 Data Reuse
·4020 字·9 分钟
最近在看 CMU 15-442 的 Hardware Acceleration。课件翻到 Register Tiling,一个 2×3 output tile 的例子。我盯着那页 slide 看了一会儿——Register Tiling 这个词不陌生,但要我说清楚它和 Cache Tiling 的区别,以及它们到底在优化什么,我发现自己的理解一直停在"把矩阵切成小块"这个表面。
LoRA:为什么低秩更新足以微调大模型?
·2492 字·5 分钟
上一篇从高斯消元推到了低秩分解,最后用 LoRA 举了个例子——\(\Delta W = BA\)。当时想清楚的是数学层面为什么两个小矩阵可以代替一个大矩阵,但 LoRA 本身没有展开。
从高斯消元到矩阵的 Rank:重新理解主元、自由变量与低秩
·4729 字·10 分钟
最近在看 LoRA(Low-Rank Adaptation)的时候,碰到了一个公式:
$$ \Delta W = BA $$其中 \(B \in \mathbb{R}^{m \times r}\),\(A \in \mathbb{R}^{r \times n}\),中间那个维度 \(r\) 被称为 Rank。
我对 Rank 这个词并不陌生——以前在 ACM-ICPC 里写高斯消元的时候,算自由变量个数就用到了矩阵的秩。但当时的关注点全在怎么求解、怎么判断无解多解、怎么把实际问题转化成线性方程组。至于 Rank 本身代表什么数学结构、跟低秩分解有什么关系,说实话没有认真想过。
Prefill/Decode 分离:为什么调度优化还不够?
PagedAttention 那篇写完之后,我觉得 KV Cache 的内存管理问题算是理清了——分页、按需分配、Block Table 映射,思路很干净。末尾我提到下一步要看 Continuous Batching 和 Chunked Prefill,也就是在多个并发请求之间怎么调度 GPU 的计算资源。