Norm 到底归一化了谁？从 BatchNorm、LayerNorm 到 RMSNorm2026-10-26·5020 字·11 分钟Deep-Learning Normalization Transformer CNN LLM 6.S191起因 # 最近在过 MIT 6.S191 和分布式训练相关的材料，各种 Norm 反复出现。LayerNorm 在写 Transformer Block 那篇时已经接触过，BatchNorm 在做 CV 的那几年天天调，RMSNorm 在看 LLM 代码时到处都是。单独看每个都不算陌生。
