Self-Attention

2026

一组 QKV 就够了吗：Multi-Head Attention 到底在拆什么

2026-09-19·5296 字·11 分钟

Deep-Learning Attention Self-Attention Transformer 6.S191

上一篇结尾我留了一个问题：一组 \(W_Q, W_K, W_V\) 只定义了一个 matching / routing space，如果不同类型的信息需求需要不同的 routing 策略，一个 space 够吗？

从动态读取到 QKV：Self-Attention 的公式是怎么长出来的

2026-09-18·6965 字·14 分钟

Deep-Learning Attention Self-Attention Transformer 6.S191

上一篇结尾留了三个问题：谁和我相关？相关程度是多少？我该从对方那里读什么？

去掉 RNN 之后，顺序去哪了？

2026-09-13·4658 字·10 分钟

Deep-Learning RNN Self-Attention Positional-Encoding 6.S191

在Self-Attention 那篇里，去掉 recurrence 让不同位置可以并行计算。但顺序原本就编码在这条递推关系里；换成纯 self-attention 后，它由谁来表示？

从 RNN 到 Self-Attention：信息为什么一定要沿着 State 一步步传递？

2026-09-13·6495 字·13 分钟

Deep-Learning RNN Attention Self-Attention Transformer

上一篇《从 RNN / LSTM / GRU 到早期 Attention》结尾我留了一句话：早期的 attention 并不是为了取代 RNN 而出现的，它只是夹在 encoder–decoder 中间解决 fixed-context bottleneck；但“根据当前需求去读取一组 representation”这种机制，并不一定要依附在 RNN 上。这篇接着讲那个“另一个故事”。

↑