《Scaling Laws》导读：模型变大，能力怎么涨

它解决了什么

在 2020 年之前，「把模型做大」是一种经验判断：值不值得花十倍算力，没人能提前给出曲线。

这篇论文给出了定量关系：损失随参数量、数据量、计算量按幂律下降，且在很宽的范围内平滑可预测。

三个关键思想

1. 三条幂律。 固定其他变量时，损失与参数量、数据量、计算量各自呈幂律关系。

2. 先扩参数，再补数据。 在固定算力预算下，论文建议把大部分预算放在参数量上——这个结论后来被后续工作修正。

3. 小实验可以预测大模型。 在小规模上拟合曲线，能外推到大模型的损失，这让「先做小规模实验」成为可行的决策方式。

读前需要知道

• 什么是参数：参数量指什么。
• 什么是大语言模型：被缩放的对象是什么。
• 幂律、对数坐标的基本读法。

重点章节与可跳过部分

• 第 1–2 节：三条曲线的图，先看图再看公式。
• 第 3 节（算力分配）：给定预算怎么分配，是工程上最有用的一节。
• 第 4–5 节（样本效率、早期拟合）：解释为什么小模型实验有参考价值。
• 附录的拟合细节可以跳过。

影响

它把「模型该多大」从信仰问题变成了预算问题。但要注意它的边界：它预测的是损失，不是具体能力；后来的研究发现，在固定算力下数据量也应同步放大（Chinchilla 的结论），且某些能力会出现不可预测的突现。做产品时，别把缩放曲线当成能力承诺。