---
title: "评测与防线：让输出可验收"
description: "没有评测，改提示词只能靠感觉。专题讲评测集、LLM 评分与回归对比，再覆盖幻觉、提示注入、越狱与系统提示泄露，最后用护栏和人工确认收口。"
updated: 2026-11-13
canonical: https://docai.cc/topics/evals-and-safety/
markdown_mirror: https://docai.cc/topics/evals-and-safety.md
---
评测的作用不是证明模型聪明，而是让「这次改动有没有变差」变成可回答的问题。没有固定样本和评分标准，每次调提示词都只是在换一种感觉。

## 这个专题包含什么

专题分三块。评测块讲评测集、LLM 作为评分器、评测编写课与改动评估课：样本从真实失败里来，评分标准要写成可判断的条目，改动前后跑同一批样本。风险块讲幻觉、提示注入、越狱与系统提示泄露：它们分别对应事实错误、外部输入篡改指令、绕过限制和泄露内部规则。防线块讲护栏与人在回路：输入过滤、输出校验、工具权限、动作确认，以及哪些高风险操作必须由人签字。评测样本要覆盖正常路径和失败路径，只测成功案例会高估系统。专题不承诺「零幻觉」，也不给出通用通过率；阈值要按业务能承受的错误代价来定。

## 学习顺序

先读评测概念，理解离线评测与线上监控的分工。再读 LLM 作为评分器，知道它适合什么、偏差在哪，什么时候必须用人工或规则校验。第三步跟课写一套最小评测：从真实失败中收样本，给每条写清期望与否决条件。之后用改动评估课建立回归习惯：任何提示词、模型或参数的改动，都先跑同一批样本。风险块建议按「事实—输入—指令」的顺序读：先处理幻觉，再处理提示注入与越狱，最后看系统提示泄露。收口是护栏与人在回路，把不可接受的输出和动作挡在发布之前。评分器本身也要抽检，否则它会把系统性偏差放大成结论。

## 全部相关词条

评测组：评测、LLM 作为评分器、评测编写课、改动评估课。风险组：幻觉、提示注入、越狱、系统提示泄露。防线组：护栏、人在回路。评测回答「有没有变差」，风险回答「会怎么坏」，防线回答「怎么挡住」；上线后还要留一条反馈通道，把真实失败持续补进评测集。三者要一起设计，单独做任何一项都不足以支撑上线。评测不是一次性项目，而是随产品一起演进的资产；风险清单也要定期复盘。评分标准要写成别人能复用的文字，不能只留在某个人脑子里。