从高斯消元到矩阵的 Rank：重新理解主元、自由变量与低秩
·4743 words·10 mins
最近在看 LoRA（Low-Rank Adaptation）的时候，碰到了一个公式：
$$ \Delta W = BA $$其中 \(B \in \mathbb{R}^{m \times r}\)，\(A \in \mathbb{R}^{r \times n}\)，中间那个维度 \(r\) 被称为 Rank。
我对 Rank 这个词并不陌生——以前在 ACM-ICPC 里写高斯消元的时候，算自由变量个数就用到了矩阵的秩。但当时的关注点全在怎么求解、怎么判断无解多解、怎么把实际问题转化成线性方程组。至于 Rank 本身代表什么数学结构、跟低秩分解有什么关系，说实话没有认真想过。