↓ 跳过正文
111qqz的小窝
111qqz的小窝
  1. Tags/

Attention

2026

一组 QKV 就够了吗：Multi-Head Attention 到底在拆什么

·5299 字·11 分钟
Deep-Learning Attention Self-Attention Transformer 6.S191
上一篇结尾我留了一个问题：一组 \(W_Q, W_K, W_V\) 只定义了一个 matching / routing space，如果不同类型的信息需求需要不同的 routing 策略，一个 space 够吗？ 这个问题让我停了下来。因为到 single-head self-attention 为止，每个 token 已经可以访问整个 sequence 了——任意两个位置之间的通路都是通的。如果表达能力不够，加大 \(d_k\) 不就行了？为什么还要搞出 Multi-Head？

从动态读取到 QKV：Self-Attention 的公式是怎么长出来的

·7130 字·15 分钟
Deep-Learning Attention Self-Attention Transformer 6.S191
上一篇结尾留了三个问题：谁和我相关？相关程度是多少？我该从对方那里读什么？ Self-attention 允许 sequence 内的位置之间直接建立通路，不再需要沿着 recurrent state 一步步搬运。但"允许直接交互"和"知道怎么交互"是两件事——architecture 把路打通了，到底是谁在决定走哪条路、读多少、读什么？

从 RNN 到 Self-Attention：信息为什么一定要沿着 State 一步步传递？

·6504 字·13 分钟
Deep-Learning RNN Attention Self-Attention Transformer
上一篇《从 RNN / LSTM / GRU 到早期 Attention》结尾我留了一句话：早期的 attention 并不是为了取代 RNN 而出现的，它只是夹在 encoder–decoder 中间解决 fixed-context bottleneck；但“根据当前需求去读取一组 representation”这种机制，并不一定要依附在 RNN 上。这篇接着讲那个“另一个故事”。