DOCAI · 论文导读 · 2022
《Chain-of-Thought》导读:让模型把推理写出来
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models · Wei 等(Google) · NeurIPS 2022
一句话结论
在示例里写出中间推理步骤,大模型的多步推理准确率明显提升。
专业更新 2026-11-13核验 2026-11-13 · docai 编辑部
它解决了什么
直接问模型一道多步数学题,它常常给出一个错误的最终答案,中间没有任何过程可查。
这篇论文的做法很朴素:在 few-shot 示例里,不只给「问题 → 答案」,而是给出「问题 → 推理步骤 → 答案」。模型会模仿这种写法,把中间步骤也写出来,正确率随之上升。
三个关键思想
1. 过程本身是提示的一部分。 不需要改模型、不需要训练,只在示例里多写几行推导。
2. 效果随模型规模出现。 小模型写思维链反而可能更差;规模够大时收益才明显。这也是「涌现能力」讨论的起点之一。
3. 把推理变成可检查的文本。 中间步骤写出来后,人可以看到它在哪一步走偏,而不只是看到一个错误答案。
读前需要知道
- 什么是提示词:示例怎么写进提示。
- 什么是 few-shot:思维链是 few-shot 的一种用法。
- 什么是推理模型:今天把「长推理」训练进模型内部的路线。
重点章节与可跳过部分
- 第 1–2 节:看那张「标准提示 vs 思维链提示」的对比图,一分钟理解全文。
- 第 3 节(实验):挑 GSM8K 数学题的结果看,收益最直观。
- 第 4 节(消融):只写公式不写自然语言、只写自然语言不写公式,效果各差多少。
- 附录的完整示例可以挑两个读,不必全看。
影响
「让我们一步步思考」成了最广为人知的提示技巧。更重要的是它引出了一条路线:既然写过程有用,那就把过程训练进模型——今天的推理模型可以看作这条思路的延伸。
论文没有解决的事:写出来的推理步骤不保证是模型真实的计算过程,看起来合理的推导也可能通向错误答案。