DOCAI · 概念 · L3
什么是量化
一句话定义
用更低精度的数字表示模型权重，用少量精度换显存占用和推理速度。
专业更新 2026-11-13核验 2026-11-13 · docai 编辑部
它解决什么
模型权重默认常用 16 位浮点存储。一个 70B 模型光权重就要一百多 GB，普通显卡放不下。
量化把权重压到 8 位、4 位甚至更低，显存需求成倍下降，很多模型因此能跑在消费级硬件上。
常见精度
| 精度 | 大致显存 | 适用 |
|---|---|---|
| FP16 / BF16 | 基准 | 有足够显存，追求质量 |
| INT8 | 约一半 | 质量损失小，通用选择 |
| 4-bit | 约四分之一 | 显存紧张，需接受一定损失 |
具体倍数还取决于量化方法与是否量化激活值。
三个常见误解
- 「量化不影响效果」：会影响，尤其是推理、代码和长尾知识任务。要用自己的测试集对比。
- 「量化等于压缩文件」：不只是存得小，解码时要用对应内核反量化，速度与兼容性都受影响。
- 「任何模型都能直接 4-bit」：部分模型或层对量化敏感，需要按方法验证。
什么时候值得做
- 显存是硬约束，不量化就跑不起来。
- 吞吐是瓶颈，且能接受小幅质量下降。
- 本地部署、边缘设备。
反过来，如果显存充足且任务对精度敏感，先别量化。