《Chinchilla》导读：同样的算力，数据该给多少

它解决了什么

Scaling Laws 给出的建议是「固定算力时优先扩参数」。按这个思路，模型越做越大，训练数据却没跟上。

Chinchilla 重新做了算力分配实验，结论相反：参数量和数据量应该同比例增长，大约每个参数配 20 个 token。

三个关键思想

1. 训练不足是普遍问题。 论文用 700 亿参数的 Chinchilla 打败了 2800 亿参数的 Gopher，靠的不是更大，而是更多数据。

2. 算力最优不等于推理最优。 小模型 + 多数据训练更便宜，但推理时大模型可能更省——这里有一个训练成本与推理成本的权衡。

3. 缩放曲线要同时看两条轴。 只拟合参数量、忽略数据量，外推会系统性偏乐观。

读前需要知道

• 什么是参数：参数量指什么。
• 什么是 token：数据量为什么按 token 算。
• 《Scaling Laws》导读：它修正的对象。

重点章节与可跳过部分

• 第 3 节（算力分配）：三种估计方法与结论图，全篇核心。
• 第 4 节（Chinchilla 模型）：与 Gopher 的对比，最直观。
• 第 5 节（推理成本讨论）：小模型多数据与大模型少数据的取舍。
• 附录的拟合细节可以跳过。

影响

2023 年之后的主流模型普遍把训练 token 数提高了一个量级。它也提醒做产品的人：看到「参数更大」不等于「能力更强」，数据配比同样决定上限。