把 RNN 沿时间展开之后：理解 BPTT 与梯度传播

hust.111qqz@gmail.com (111qqz) — Sat, 12 Sep 2026 14:00:00 +0800

最近在重新跟 MIT 6.S191 和 CS336，发现自己处在一个有点尴尬的状态：RNN 的 forward 随时能默写，hidden state 一步一步往前推，没什么好想的。但如果有人接着问"那它到底怎么 backward"，我能说出来的只剩几个词——BPTT、沿时间反向传播、梯度消失——再往下就模糊了。

BPTT on 111qqz的小窝

把 RNN 沿时间展开之后：理解 BPTT 与梯度传播