什么是 Transformer

它取代了什么

循环网络（RNN）必须一个词一个词往前算：训练不能并行，句子越长越慢；两个相隔很远的词之间要经过很多步，信息一路衰减。

卷积网络能并行，但要覆盖长距离就得多堆层。

Transformer 的答案是：每个位置直接看所有位置，一步到位。

三个核心部件

1. 自注意力：每个位置发出查询，和所有位置的键算相似度，再对值加权求和。
2. 多头：把表示切成多份并行算，不同的头关注不同的关系（语法、指代、位置）。
3. 位置编码：注意力本身没有顺序感，要把位置信息加进输入。

三种变体

• 只用编码器：擅长理解，例如 BERT 这一类。
• 只用解码器：擅长生成，GPT 系列走这条路。
• 编码器 + 解码器：输入和输出是两种序列，例如翻译。

三个常见误解

• 「Transformer 是个产品」：它是一类结构，不是某个模型的名字。
• 「它是唯一的结构」：不是，但它是当前主流大模型的基础。
• 「注意力权重能解释模型为什么这么答」：不能直接当解释用，注意力高不等于因果重要。

延伸阅读

• 读原始论文：《Attention Is All You Need》导读
• 它训练出来的模型：什么是 LLM