DOCAI · 概念 · L2
什么是参数量
一句话定义
模型里可训练数值的总数，通常以「亿/十亿」计；它决定容量，也决定训练与推理成本。
开发者更新 2026-11-13核验 2026-11-13 · docai 编辑部
它是什么
模型里的权重与偏置。训练做的事，就是反复微调这些数值。
平时说的「7B」「70B」，指的是 70 亿、700 亿个参数。
它决定什么
- 容量：能装下多少模式。太小会欠拟合。
- 显存：推理时权重要放进显存，参数量直接决定下限。
- 成本：越大越贵，训练和推理都是。
它不决定什么
- 效果：数据质量、训练方法、后训练（指令微调、对齐）同样关键。小模型在窄任务上胜过通用大模型很常见。
- 知识条目：知识是分布式存储的，不能对应到「某个参数记着某件事」。
- 速度：还取决于结构（比如 MoE 只激活一部分）和硬件。
两个容易混的说法
| 说法 | 含义 |
|---|---|
| 总参数 | 模型里全部参数 |
| 激活参数 | 单次推理实际参与计算的参数（MoE 常用） |
看到「总参数很大、激活参数很小」，说的就是混合专家结构。
三个常见误解
- 「参数多一定更强」：同代同数据下大致成立，跨代、跨数据不成立。
- 「参数就是记忆」：不是。它学的是压缩后的统计规律。
- 「参数量能直接算显存」：还要看数值精度、框架开销、是否量化。