改完提示，怎么知道变好了

为什么不能靠感觉

改提示的人有一个通病：拿刚才那条失败的输入试一遍，好了，就上线。第二天换个输入又坏了。

单条输入验证不了任何事。 你调的可能是特例，也可能顺手弄坏了别的。

三步

1. 留测试集

从真实使用里抽 20–50 条输入，覆盖：

• 常见类型（占大头）
• 边界情况（空输入、超长、混合语言）
• 以前出过错的那几条

固定下来，每次改提示都跑同一批。

2. 定义通过标准

标准必须能被另一个人判定：

坏标准	好标准
「回答得好」	「输出是合法 JSON，且 sentiment 在三个枚举值内」
「准确」	「数字与原文一致；原文没有的数字不出现」
「简洁」	「不超过 3 句」

能程序判定的（格式、长度、字段）就写程序；不能的（语气、 relevance）让人抽检。

3. 新旧对比

同一批输入，两版提示各跑一遍，记录通过数。

• 提高不到 5%：多半是噪声，别急着上。
• 有明显提高但个别条目变差：看那几条是不是更重要的场景。
• 把 temperature 调低再比，减少同版之间的波动。

一个常见陷阱

只测「该答对的」，不测「该拒绝的」。模型对不该回答的问题开始硬答，通过率反而「提高」了——这类退步要靠幻觉检测类样本抓。

自测

1. 为什么「用刚失败的那条输入验证」不足以说明问题修好了？
2. 通过标准为什么必须让另一个人也能判定？
3. 新版整体通过率高了 2%，但以前能正确拒绝的几条开始乱答，该不该上？