DOCAI · 概念 · L4
模型蒸馏是什么
一句话定义
用大模型的输出当训练目标，教小模型学会同一类任务；换来更低的推理成本，代价是通用能力变窄。
研究更新 2026-11-13核验 2026-11-13 · docai 编辑部
它解决什么问题
大模型效果好但贵，小模型便宜但能力弱。蒸馏的思路是： 让大模型当老师，把「怎么回答」教给小模型。
最直接的做法是生成式蒸馏：
- 准备一批任务输入；
- 用教师模型跑一遍，拿到输出（也可能带推理过程）；
- 用这些输入—输出对训练学生模型；
- 在学生模型上评测，不够好就补数据。
结果是学生模型在这类任务上接近教师，但通用能力不如教师。
和微调、量化有什么区别
| 手段 | 改什么 | 主要收益 |
|---|---|---|
| 微调 | 用你的数据调整已有模型 | 特定任务更稳、更懂你的格式 |
| 蒸馏 | 用小模型模仿大模型的输出 | 推理单价大幅下降 |
| 量化 | 降低权重精度 | 显存和延迟下降 |
三者可以叠加：先蒸馏出小模型，再微调，最后量化。
什么时候值得做
- 任务已经稳定，输入输出格式固定；
- 调用量大到 API 账单成为主要成本；
- 有办法批量生成高质量标注（教师模型就是一个来源）；
- 能接受「只做这一类任务」。
反过来，任务还在变、需求量不大、或者需要通用对话能力时，蒸馏通常不值。
代价和风险
- 能力变窄：学生学的是教师在这一类任务上的行为，换个任务可能崩。
- 继承错误：教师编的内容会被学生当成标准答案学进去。
- 数据合规：用某家 API 的输出训练自己的模型，要先看服务条款允不允许。
- 评测成本：必须有一批教师没见过的测试数据，否则你测的是记忆。
常见误解
- 「蒸馏就是压缩模型体积」：体积不一定变，变的是能力分布。
- 「蒸馏完和大模型一样」：只在训练分布内接近，分布外差距明显。
- 「随便拿 API 输出就能训」：条款、版权、数据质量三道关都绕不开。
下一步
- 微调是什么：微调
- 预训练与后训练：预训练
- 论文本身：Distilling the Knowledge in a Neural Network 导读