跳到正文
docai.cc

DOCAI · 论文导读 · 2022

《Chain-of-Thought》导读:让模型把推理写出来

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models · Wei 等(Google) · NeurIPS 2022

一句话结论

在示例里写出中间推理步骤,大模型的多步推理准确率明显提升。

专业更新 2026-11-13核验 2026-11-13 · docai 编辑部

它解决了什么

直接问模型一道多步数学题,它常常给出一个错误的最终答案,中间没有任何过程可查。

这篇论文的做法很朴素:在 few-shot 示例里,不只给「问题 → 答案」,而是给出「问题 → 推理步骤 → 答案」。模型会模仿这种写法,把中间步骤也写出来,正确率随之上升。

三个关键思想

1. 过程本身是提示的一部分。 不需要改模型、不需要训练,只在示例里多写几行推导。

2. 效果随模型规模出现。 小模型写思维链反而可能更差;规模够大时收益才明显。这也是「涌现能力」讨论的起点之一。

3. 把推理变成可检查的文本。 中间步骤写出来后,人可以看到它在哪一步走偏,而不只是看到一个错误答案。

读前需要知道

重点章节与可跳过部分

  • 第 1–2 节:看那张「标准提示 vs 思维链提示」的对比图,一分钟理解全文。
  • 第 3 节(实验):挑 GSM8K 数学题的结果看,收益最直观。
  • 第 4 节(消融):只写公式不写自然语言、只写自然语言不写公式,效果各差多少。
  • 附录的完整示例可以挑两个读,不必全看。

影响

「让我们一步步思考」成了最广为人知的提示技巧。更重要的是它引出了一条路线:既然写过程有用,那就把过程训练进模型——今天的推理模型可以看作这条思路的延伸。

论文没有解决的事:写出来的推理步骤不保证是模型真实的计算过程,看起来合理的推导也可能通向错误答案。

读前先看这几个词

读原文 ↗