什么是微调

它解决什么

有些要求靠提示做不到或做得不稳定：

• 固定的输出风格与格式
• 领域术语的稳定使用
• 大量同类任务的成本压缩（短提示替代长提示）

微调把「每次都要在提示里讲一遍」变成「模型本身就会」。

和提示工程的分工

先做什么	为什么
1. 把提示写清楚 + few-shot	大部分问题在这一步解决
2. 加检索、加工具	解决知识缺失与实时性
3. 最后才考虑微调	成本最高，见效最慢

顺序反了，常见结果是：花了几周做微调，发现问题其实是提示没说清。

需要准备什么

• 数据：几百到几千条高质量「输入 → 理想输出」样本，比数量更重要的是标注一致。
• 评测集：单独留一批不参与训练的数据，前后对比。
• 回滚方案：保留原模型，出问题能切回去。

三个常见误解

• 「微调能让模型学会新知识」：不可靠。知识更新优先用检索；微调擅长的是行为与格式。
• 「数据越多越好」：低质量数据会稳定地教坏模型。
• 「微调后就不用提示了」：仍要。系统提示、工具定义、安全约束都还在。

三个常见风险

• 过拟合：训练集表现很好，线上换个说法就崩。
• 遗忘：专用任务变强，通用能力下降。
• 版本绑定：微调模型绑在某个基础模型版本上，升级要重做。

延伸阅读

• 模型里到底改了什么：什么是参数
• 为什么模型会编造事实：什么是幻觉