把 RNN 沿时间展开之后：理解 BPTT 与梯度传播
最近在重新跟 MIT 6.S191 和 CS336，发现自己处在一个有点尴尬的状态：RNN 的 forward 随时能默写，hidden state 一步一步往前推，没什么好想的。但如果有人接着问"那它到底怎么 backward"，我能说出来的只剩几个词——BPTT、沿时间反向传播、梯度消失——再往下就模糊了。
反向传播
2026
从 Forward 到 Optimizer：再看一遍 Training Loop
起因 # 跟 CS336 的作业写到 training loop 的时候，发现自己在 loss.backward() 这行停了一下。