↓ 跳过正文

111qqz

ML Infra Engineer | ex-ICPCer@HUST

最近的文章

Memory Banking:为什么不同的内存地址,不一定能同时访问?

·5210 字·11 分钟
之前写 Register Tiling 和 Cache Tiling 的时候,提到了 GPU 上的高性能 GEMM kernel 会把输入矩阵的 tile 搬到 Shared Memory。当时只关注了 data reuse 的部分。 后来在看矩阵转置的 CUDA 实现时,碰到了一行让我停下来的代码: 1__shared__ float tile[32][33]; // 为什么是 33? 这是一个经典的 Padding trick,用来消除 Shared Memory 的 Bank Conflict。道理我大概知道,但要我解释清楚——为什么 32 列会冲突?为什么 33 列就不冲突?32 和 33 这两个数字的差异到底对应什么硬件行为?——我发现自己说不出来。

Numerical Stability in ML Systems:从浮点误差到 GPU 计算

起因:H20 上 FP64 只有 1 TFLOPS,但计算要的是双精度 # 写这篇笔记的直接原因是一块 H20。业务里有一块对数值精度敏感的计算,需要接近 FP64 的结果,但 H20 的 FP64 算力只有 1 TFLOPS。对照同一张卡的其他规格,这个数字有多别扭很直观:FP32 是 44 TFLOPS,FP16/BF16 Tensor Core 是 148 TFLOPS,FP8 是 296 TFLOPS,FP64 只有 1——不到 FP32 的四十分之一,而满血的 H100 上 FP64 是 34 TFLOPS。

从 Register Tiling 到 Cache Tiling:理解高性能计算中的 Data Reuse

最近在看 CMU 15-442 的 Hardware Acceleration。课件翻到 Register Tiling,一个 2×3 output tile 的例子。我盯着那页 slide 看了一会儿——Register Tiling 这个词不陌生,但要我说清楚它和 Cache Tiling 的区别,以及它们到底在优化什么,我发现自己的理解一直停在"把矩阵切成小块"这个表面。

从高斯消元到矩阵的 Rank:重新理解主元、自由变量与低秩

·4729 字·10 分钟
最近在看 LoRA(Low-Rank Adaptation)的时候,碰到了一个公式: $$ \Delta W = BA $$其中 \(B \in \mathbb{R}^{m \times r}\),\(A \in \mathbb{R}^{r \times n}\),中间那个维度 \(r\) 被称为 Rank。 我对 Rank 这个词并不陌生——以前在 ACM-ICPC 里写高斯消元的时候,算自由变量个数就用到了矩阵的秩。但当时的关注点全在怎么求解、怎么判断无解多解、怎么把实际问题转化成线性方程组。至于 Rank 本身代表什么数学结构、跟低秩分解有什么关系,说实话没有认真想过。