从 RNN 到 Self-Attention：信息为什么一定要沿着 State 一步步传递？

hust.111qqz@gmail.com (111qqz) — Sun, 13 Sep 2026 18:00:00 +0800

上一篇《从 RNN / LSTM / GRU 到早期 Attention》结尾我留了一句话：早期的 attention 并不是为了取代 RNN 而出现的，它只是夹在 encoder–decoder 中间解决 fixed-context bottleneck；但“根据当前需求去读取一组 representation”这种机制，并不一定要依附在 RNN 上。这篇接着讲那个“另一个故事”。

从 RNN / LSTM / GRU 到早期 Attention：为什么“压缩历史”最终变成了“按需读取”

hust.111qqz@gmail.com (111qqz) — Sun, 13 Sep 2026 15:00:00 +0800

上一篇《从 RNN 到 LSTM，再到 GRU》把 gate 机制理了一遍：LSTM / GRU 把 recurrent state 的信息流变成了可学习的动态控制，决定什么写入、什么保留、什么暴露。写到那里，我以为 RNN 这条线差不多收尾了。

Attention on 111qqz's blog

从 RNN 到 Self-Attention：信息为什么一定要沿着 State 一步步传递？

从 RNN / LSTM / GRU 到早期 Attention：为什么“压缩历史”最终变成了“按需读取”