---
title: "用模型当裁判靠谱吗"
description: "模型当裁判适合判断开放性回答的好坏，不适合判断事实真假；关键在看清偏差从哪来、为什么成对比较更稳，以及怎么用人工抽样校准。"
updated: 2026-11-13
canonical: https://docai.cc/concepts/llm-as-judge/
markdown_mirror: https://docai.cc/concepts/llm-as-judge.md
---
## 它是什么

模型当裁判（LLM as judge）是把评分这件事交给模型：给它任务说明、评分标准与待评的回答，让它按标准打分、选优或判断通过与否。它在评测流程里承担评分器的角色。

它适合没有唯一答案的任务，比如摘要是否覆盖要点、客服回复是否得体、文案是否符合品牌语气。这些任务代码判不了，人工又评不过来。

## 怎么工作

常见的形式有绝对打分、成对比较、通过与否。绝对打分是给一个分数；成对比较是给两份回答选更好的；通过与否是按硬条件判合格。

实践里成对比较通常更稳。模型对分数尺度没有稳定概念，同一档分数在不同批次里的含义可能漂移；而「A 和 B 哪个更好」是相对判断，结果更容易复现。

但它有系统性偏差：

- 位置偏差：放在前面的回答更容易被选中。
- 长度偏好：更长、更完整的回答看起来更认真，哪怕信息更少。
- 自我偏好：模型倾向于偏袒自己或同族模型的输出。
- 格式偏好：排版漂亮、分点清晰的答案更容易得分。

校准的办法是人工抽样。从裁判结果里抽一部分，人工独立判断，比较两者的一致程度。如果某类输入总是判反，就改评分标准、补示例，或者换裁判。

## 什么时候别用

不要用它判断事实真伪。裁判没有外部依据，只能看回答像不像真的；编造得流畅的内容反而容易拿高分。事实性要靠检索原文、代码校验或人工核对。测[幻觉](/concepts/hallucination/)时，裁判可以辅助判断语气与完整性，不能当唯一证据。

## 怎么用才稳

- 把评分标准拆成具体维度，每条给出通过与不通过的示例，写法可参考[少样本示例](/concepts/few-shot/)。
- 成对比较时交换顺序各跑一次，两次结论一致才算数。
- 要求裁判先写理由再给结论，理由里必须引用回答中的原句。
- 能代码判定的部分不要交给模型，例如字段是否齐全、数字是否对得上。
- 固定裁判的[温度](/concepts/temperature/)等采样参数，减少同题不同判。
- 把评分标准当成[提示模板](/concepts/prompt-template/)来维护，改版本时重新校准。

## 常见误解

- **「裁判模型越强越可靠」**：强模型也有长度与自我偏好，只是程度不同；不校准一样会偏。
- **「写一句请客观评分就够了」**：笼统要求没有约束力，标准要具体到可执行的判断。
- **「裁判和人工一致就一定对」**：人工标注本身也有分歧，先看人工之间的一致程度。
- **「一次评完就能定稿」**：裁判结果要抽样复核，尤其是分数异常的样本。