《InstructGPT》导读：让模型学会听指令

它解决了什么

预训练模型的目标是「预测下一个 token」，不是「完成用户的任务」。它可能续写出一段看起来像回答的文字，也可能跑题、编造、无视格式要求。

这篇论文用人类反馈把目标往「有用、诚实、无害」上拧。

三个关键思想

1. 三步流程。 先人工写示范数据做监督微调；再让人对多个输出排序，训练一个奖励模型；最后用强化学习（PPO）按奖励模型优化生成。

2. 小模型打败大模型。 1.3B 的 InstructGPT 输出被标注者偏好于 175B 的原始 GPT-3——说明对齐带来的收益，可能大于单纯堆参数。

3. 「对齐税」。 对齐后在公开 NLP 任务上的表现可能略降，论文承认了这一点，并认为用户偏好更重要。

读前需要知道

• 什么是微调：监督微调的基本形态。
• 什么是提示词：指令是什么、为什么模型要学它。
• 强化学习的基本框架（策略、奖励）有助于读第 3 节。

重点章节与可跳过部分

• 第 3 节（方法）：三步流程的图，全篇核心。
• 第 4 节（结果）：看人类偏好评测的设置，理解「好」是怎么被定义的。
• 第 5 节（泛化与对齐税）：公开任务上的退步，值得完整读。
• PPO 的超参数细节可以跳过。

影响

今天所有对话模型的默认形态——先预训练，再指令微调，再用偏好数据对齐——都建立在这条路线上。它也把一个问题摆上台面：标注者认为「好」的回答，不一定是事实上正确的回答。