精读 Transformer:Attention 为什么能替代循环

从缩放点积注意力、多头机制和位置编码出发,理解 Transformer 为什么改变了序列建模,也看清它没有解决什么。

Read in English →
本篇目录

论文:Attention Is All You Need,Vaswani 等,NeurIPS 2017。

今天回看这篇论文,最容易被低估的不是 Attention 本身,而是作者对计算路径的重新设计:序列中的任意两个位置,可以在一次注意力计算中直接建立联系;训练也不必再沿时间步串行推进。

它试图解决什么

RNN 把序列压进逐步更新的隐藏状态。这个归纳偏置很自然,但带来两个工程问题:长距离信息必须经过多步传播,训练难以充分并行。CNN 可以并行,却需要堆叠多层才能扩大感受野。

Transformer 的选择更直接:让每个位置查看整段序列,并为其他位置动态分配权重。路径变短了,计算也变成适合 GPU 的大规模矩阵运算。

缩放点积注意力

每个 token 被投影成 Query、Key 和 Value。Query 与所有 Key 做相似度计算,经过 softmax 后成为 Value 的加权系数:

Attention(Q, K, V) = softmax(QKᵀ / √dₖ) V

除以 √dₖ 不是装饰。当维度增大时,点积的绝对值容易变大,让 softmax 进入梯度很小的饱和区;缩放让训练保持稳定。

注意力的本质也不只是“寻找最相关的词”。它是在当前层、当前语境下,为信息路由计算一张动态的连接图。

为什么需要多头

单个注意力空间很难同时表达多种关系。Multi-Head Attention 先把表示投影到多个子空间,各自计算注意力,再拼接输出。不同头因此有机会关注位置关系、语法依赖、指代或任务相关模式。

多头并不保证每个头都具有清晰语义,但它提供了并行学习多种关系的容量。工程上更重要的是:头数、单头维度和总计算量必须一起看,而不是把“更多头”简单理解成“更强”。

没有循环,顺序从哪里来

Self-Attention 对输入排列本身没有感知,因此论文加入正弦和余弦位置编码。它为每个位置提供可区分、又具有规律性的信号。后来的相对位置编码和 RoPE 改变了具体实现,但问题没有变化:模型必须以某种方式知道 token 的顺序和距离。

原始结构还包含三类看似普通、却决定训练可行性的部件:残差连接、Layer Normalization,以及逐位置前馈网络。注意力负责 token 之间的信息交换,前馈网络负责对每个位置的表示做非线性变换。

论文真正改变的工程条件

论文在 WMT 2014 英德翻译上报告 28.4 BLEU,在英法翻译上报告 41.8 BLEU。比数字更长久的影响,是它同时获得了质量、并行训练效率和更短的信息路径。

但标准 Self-Attention 对序列长度具有平方级的注意力矩阵开销。上下文越来越长时,显存、带宽和推理延迟都会成为瓶颈。后来的 FlashAttention、稀疏注意力和线性注意力,本质上都在回答同一个问题:怎样保留全局信息路由的能力,同时降低系统成本。

我的理解

Transformer 最值得反复学习的,不是一张固定架构图,而是一种设计方式:先重新审视信息必须经过的路径,再选择最适合硬件的计算形式。

模型结构的突破,往往同时也是计算系统的突破。理解这一点,比记住每个模块的名字更接近这篇论文的核心。

RELATED WRITING

DISCUSSION

讨论