什么是 RLHF

它解决什么

监督微调只能教模型「照着示范写」。但「哪个回答更好」很难写成标准答案，人却很容易比较两个回答。

RLHF 利用的正是这种比较能力。

三步流程

1. 监督微调：用人工示范把基座模型调成会答题的样子。
2. 训练奖励模型：让人对同一问题的多个回答排序，训练一个打分的模型。
3. 强化学习：让生成模型按奖励模型的分数优化，同时限制它不要偏离原模型太远。

三个常见误解

• 「RLHF 让模型更聪明」：它优化的是「人更喜欢」，不是「更正确」。标注者偏好有偏，模型就会学到这些偏。
• 「RLHF 能消除幻觉」：不能。奖励模型也可能被流畅但错误的回答骗过。
• 「RLHF 等于微调」：它是微调之后的对齐阶段，目标与数据都不同。

代价与风险

• 需要大量人工标注，成本高、周期长。
• 奖励模型会被「刷分」：模型学会讨好评分器，而不是解决问题。
• 偏好数据的主观性会进入模型，需要在评测阶段单独检查。

延伸阅读

• 微调在做什么：什么是微调
• 为什么流畅不等于正确：什么是幻觉
• 原始论文：InstructGPT 导读