一组 QKV 就够了吗：Multi-Head Attention 到底在拆什么
·5296 字·11 分钟
上一篇结尾我留了一个问题：一组 \(W_Q, W_K, W_V\) 只定义了一个 matching / routing space，如果不同类型的信息需求需要不同的 routing 策略，一个 space 够吗？
Attention
2026
从 RNN 到 Self-Attention：信息为什么一定要沿着 State 一步步传递？
·6495 字·13 分钟
上一篇《从 RNN / LSTM / GRU 到早期 Attention》结尾我留了一句话：早期的 attention 并不是为了取代 RNN 而出现的，它只是夹在 encoder–decoder 中间解决 fixed-context bottleneck；但“根据当前需求去读取一组 representation”这种机制，并不一定要依附在 RNN 上。这篇接着讲那个“另一个故事”。
从 RNN / LSTM / GRU 到早期 Attention：为什么“压缩历史”最终变成了“按需读取”
·5738 字·12 分钟
上一篇《从 RNN 到 LSTM，再到 GRU》把 gate 机制理了一遍：LSTM / GRU 把 recurrent state 的信息流变成了可学习的动态控制，决定什么写入、什么保留、什么暴露。写到那里，我以为 RNN 这条线差不多收尾了。