跳到正文
docai.cc

DOCAI · 知识树 · 08

评测与质量

Evaluation

怎么知道它真的变好了，而不是碰巧。没有评测的 AI 应用，只能靠感觉迭代。这一枝先讲怎么把「好」写成可检查的条目，再讲自动评审、基准与线上实验。读完至少能搭一个 20 条的小评测集，改提示前后各跑一遍。

5 个分支 · 2 概念 · 2 课程 · 1 专题 · 1 新闻

从这三条开始

先读一篇专题或一节课，再回头补概念，比从词条开始快。
专题评测与防线：让输出可验收没有评测，改提示词只能靠感觉。专题讲评测集、LLM 评分与回归对比，再覆盖幻觉、提示注入、越狱与系统提示泄露，最后用护栏和人工确认收口。课程改完提示，怎么知道变好了先留一批固定测试题、给每条定判定标准、再新旧对比：没有这三步，任何「感觉好多了」都不可信。概念评测（evals）用固定任务与判定标准，持续衡量模型输出是否合格的一套做法。

这一领域的七个分叉

每个分支都能单独走完；读完再回来看兄弟分支，不会重复。
01

评测方法

Methods
看全部 4 条 →

用例集、通过标准、回归与人工抽检

概念

01

课程

02

专题

01
02

自动评审

LLM as judge
看全部 1 条 →

用模型打分、偏差、校准与一致性

概念

01
03

基准与榜单

Benchmarks
看全部 0 条 →

公开基准能说明什么、不能说明什么

这一枝还没有条目。

04

线上实验

Online experiments
看全部 0 条 →

A/B、灰度、埋点与真实反馈

这一枝还没有条目。

05

安全评测

Safety evaluation
看全部 1 条 →

红队、越狱测试、注入与数据泄露检查

新闻

01

这一领域的最新动态

新闻页里每一句都能回到来源。

新闻

01