DOCAI · 概念 · L3
什么是预训练
一句话定义
在海量通用文本上训练模型，让它先学会语言规律与常识，再谈具体任务。
专业更新 2026-11-13核验 2026-11-13 · docai 编辑部
它解决什么
从零教一个模型做具体任务，需要大量标注数据。
预训练换了个思路：先用不需要标注的文本学会「下一个 token 是什么」，得到一个通用基座，再用少量数据把它引到具体任务上。
和后训练的分工
| 阶段 | 目标 | 数据 |
|---|---|---|
| 预训练 | 学会语言与通用知识 | 海量无标注文本 |
| 指令微调 | 学会按指令行事 | 人工写的示范 |
| 偏好对齐 | 学会符合人类偏好 | 人工排序反馈 |
预训练决定「知道什么」，后训练决定「怎么答」。
三个常见误解
- 「预训练数据越多越好」：数据质量与配比同样关键，重复的低质数据收益很低。
- 「预训练一次就够」：知识会过期，模型需要新版本或外部检索补充。
- 「预训练等于记住原文」：模型学的是统计规律，不能可靠复述训练数据。