《Language Models are Few-Shot Learners》导读：不训练，只给例子

它解决了什么

在这篇之前，让模型做新任务的标准做法是微调：收集标注数据，更新权重，一个任务一份模型。

代价是每个任务都要数据、要训练、要部署一份新权重。

这篇论文问的是：如果模型足够大，能不能只靠提示里给的几个例子就学会任务？

三个关键思想

1. 规模本身带来能力。 1750 亿参数的模型，在大量任务上不微调就能达到可用水平，部分任务接近微调过的专用模型。

2. 上下文学习（in-context learning）。 例子写在提示里，模型在这一次前向计算中「临时学会」模式，权重完全不变。关掉会话，学到的东西就没了。

3. 三种设定。 zero-shot（只给任务描述）、one-shot（一个例子）、few-shot（几个例子）。通常例子越多效果越好，但边际收益递减。

读前需要知道

• 语言模型的基本目标：预测下一个 token，见什么是 LLM。
• 提示词的基本结构，见什么是提示词。
• 「参数」大致是什么：可以理解为模型里可调整的数值总量。

重点章节与可跳过部分

• 第 2 节（方法）：三种设定的定义，全篇的框架。
• 第 3 节（结果）：挑两三个你熟悉的基准看，不必逐个读表。
• 第 4 节（局限性）：数据污染、长文本退化、成本，值得认真读。
• 附录：提示样例可以当模板参考，其余可跳过。

影响

它把「提示工程」变成一门显学：既然不改权重也能改行为，那么怎么写提示就成了工程问题。

同时也留下两个长期问题：模型越大越贵；提示里的例子占上下文，长例子会挤掉别的信息。

后来的指令微调与偏好对齐，正是为了补上「会续写但不会听话」这块短板。