《DPO》导读：不用强化学习也能对齐

它解决了什么

RLHF 要训奖励模型，再用强化学习优化，流程长、不稳定、对超参数敏感。

DPO 的关键观察：偏好对齐的目标可以用一个闭式损失直接优化，不需要显式训练奖励模型。

三个关键思想

1. 把奖励写进损失。 通过数学变换，奖励模型被解析地表示为策略模型与参考模型的比值，训练目标变成对「偏好回答 vs 拒绝回答」的直接比较。

2. 流程缩短。 只需要偏好数据对，一次监督式训练即可，不用在线采样。

3. 稳定性提高。 没有强化学习的探索与奖励黑客问题，复现更容易。

读前需要知道

• 什么是 RLHF：它要替代的流程。
• 什么是微调：偏好数据长什么样。
• 概率与 KL 散度的基本概念。

重点章节与可跳过部分

• 第 4 节（方法）：从 RLHF 目标推导到 DPO 损失，是全篇核心。
• 第 5 节（实验）：与 PPO 的对比，重点看稳定性与训练成本。
• 第 6 节（分析）：奖励黑客与分布外行为。
• 推导附录可以按需读。

影响

DPO 及其变体成了开源模型对齐的常用方案，让「小团队做偏好对齐」变得可行。它的边界是：偏好数据质量决定上限，且离线方法对分布外输入的约束弱于在线强化学习。