↓ 跳过正文

Transformer

2026

Attention 之后还缺什么：从 Residual Connection 到 Transformer Stack

2026-09-19·5963 字·12 分钟

Deep-Learning Transformer Residual-Connection Layernorm 6.S191

上一篇结尾我写：Multi-Head Attention 仍然只是一个 information routing / read mechanism，一个完整的 Transformer layer 还包含 FFN、residual connection、layer normalization 等组件。

从标量整数到相对几何：Sinusoidal Positional Encoding 到底在设计什么？

2026-09-19·7042 字·15 分钟

Deep-Learning Positional-Encoding Transformer Sinusoidal 6.S191

上一篇走到了一个结论：去掉 recurrence 之后，Self-Attention 必须重新获得 positional information。position 可以加进 token 的 representation，两者相加不要求后续计算无损还原，只要下游能利用其中的信息就行。

一组 QKV 就够了吗：Multi-Head Attention 到底在拆什么

2026-09-19·5296 字·11 分钟

Deep-Learning Attention Self-Attention Transformer 6.S191

上一篇结尾我留了一个问题：一组 \(W_Q, W_K, W_V\) 只定义了一个 matching / routing space，如果不同类型的信息需求需要不同的 routing 策略，一个 space 够吗？

从动态读取到 QKV：Self-Attention 的公式是怎么长出来的

2026-09-18·6965 字·14 分钟

Deep-Learning Attention Self-Attention Transformer 6.S191

上一篇结尾留了三个问题：谁和我相关？相关程度是多少？我该从对方那里读什么？

从 RNN 到 Self-Attention：信息为什么一定要沿着 State 一步步传递？

2026-09-13·6495 字·13 分钟

Deep-Learning RNN Attention Self-Attention Transformer

上一篇《从 RNN / LSTM / GRU 到早期 Attention》结尾我留了一句话：早期的 attention 并不是为了取代 RNN 而出现的，它只是夹在 encoder–decoder 中间解决 fixed-context bottleneck；但“根据当前需求去读取一组 representation”这种机制，并不一定要依附在 RNN 上。这篇接着讲那个“另一个故事”。

从 reshape 到 einops：理解 Transformer 代码中的 Tensor Shape DSL

2026-08-27·6243 字·13 分钟

Deep-Learning Einops CS336 PyTorch Transformer Ml-Infra

起因 # 最近在做 CS336（Language Modeling from Scratch）的 Transformer 实现，代码里反复出现这种写法：