用模型当裁判靠谱吗

它是什么

模型当裁判（LLM as judge）是把评分这件事交给模型：给它任务说明、评分标准与待评的回答，让它按标准打分、选优或判断通过与否。它在评测流程里承担评分器的角色。

它适合没有唯一答案的任务，比如摘要是否覆盖要点、客服回复是否得体、文案是否符合品牌语气。这些任务代码判不了，人工又评不过来。

怎么工作

常见的形式有绝对打分、成对比较、通过与否。绝对打分是给一个分数；成对比较是给两份回答选更好的；通过与否是按硬条件判合格。

实践里成对比较通常更稳。模型对分数尺度没有稳定概念，同一档分数在不同批次里的含义可能漂移；而「A 和 B 哪个更好」是相对判断，结果更容易复现。

但它有系统性偏差：

• 位置偏差：放在前面的回答更容易被选中。
• 长度偏好：更长、更完整的回答看起来更认真，哪怕信息更少。
• 自我偏好：模型倾向于偏袒自己或同族模型的输出。
• 格式偏好：排版漂亮、分点清晰的答案更容易得分。

校准的办法是人工抽样。从裁判结果里抽一部分，人工独立判断，比较两者的一致程度。如果某类输入总是判反，就改评分标准、补示例，或者换裁判。

什么时候别用

不要用它判断事实真伪。裁判没有外部依据，只能看回答像不像真的；编造得流畅的内容反而容易拿高分。事实性要靠检索原文、代码校验或人工核对。测幻觉时，裁判可以辅助判断语气与完整性，不能当唯一证据。

怎么用才稳

• 把评分标准拆成具体维度，每条给出通过与不通过的示例，写法可参考少样本示例。
• 成对比较时交换顺序各跑一次，两次结论一致才算数。
• 要求裁判先写理由再给结论，理由里必须引用回答中的原句。
• 能代码判定的部分不要交给模型，例如字段是否齐全、数字是否对得上。
• 固定裁判的温度等采样参数，减少同题不同判。
• 把评分标准当成提示模板来维护，改版本时重新校准。

常见误解

• 「裁判模型越强越可靠」：强模型也有长度与自我偏好，只是程度不同；不校准一样会偏。
• 「写一句请客观评分就够了」：笼统要求没有约束力，标准要具体到可执行的判断。
• 「裁判和人工一致就一定对」：人工标注本身也有分歧，先看人工之间的一致程度。
• 「一次评完就能定稿」：裁判结果要抽样复核，尤其是分数异常的样本。