什么是注意力机制

它解决什么

把一句话压成一个固定长度的向量，长句的信息会丢。注意力换了个做法：不压缩，按需取用。

处理某个词时，模型可以直接看句子里所有词，并按相关性决定看谁多一点。

怎么算

1. 每个位置生成三个向量：查询（Q）、键（K）、值（V）。
2. 用 Q 和所有位置的 K 算相似度（点积）。
3. 除以维度的平方根，避免数值过大让 softmax 饱和。
4. softmax 归一化成权重，对 V 加权求和。

为什么重要

任意两个位置之间只隔一步：不需要像循环网络那样一步步传。

而且每个位置的计算互不依赖，训练时可以整句并行。

三个常见误解

• 「注意力权重就是解释」：不能直接当因果解释。权重高不等于这个位置决定了输出。
• 「它模仿人的注意力」：只是数学上的加权，没有人的选择机制。
• 「多头只是重复算几遍」：不同的头从不同的子空间看，能分别捕捉不同关系。

和循环结构的区别

对比	循环网络	注意力
计算方式	按顺序	整句并行
远距离依赖	要经过很多步	一步可达
长句成本	线性增长但慢	随长度平方增长

延伸阅读

• 用它搭起来的结构：什么是 Transformer
• 它决定了什么上限：什么是上下文窗口