9 年后重温 CNN：剥掉算子细节后，真正留下了什么
·5891 words·12 mins
最近在重新过 MIT 6.S191 Lecture 3（卷积神经网络）。2017 年刚接触 CV 那会儿，CNN 算是吃饭的家伙，每天都在调。后来精力逐渐转到 ML Infra，成天跟 GPU 显存、通信拓扑和算子优化打交道，卷积网络的很多具体细节就慢慢生疏了——写个 nn.Conv2d 时 weight 的四维形状到底怎么排、Kaiming 初始化的方差怎么推、感受野怎么算，冷不丁被问到，还得在脑子里卡壳一下。