DOCAI · 论文导读
读原文之前，先知道它解决了什么
每篇导读固定五段：一句话结论、它解决了什么、三个关键思想、读前需要什么、重点章节与可跳过部分。原文永远链到 arXiv 或出版方。
11 篇
- 2023《DPO》导读：不用强化学习也能对齐把偏好对齐从强化学习改写成一次监督式训练，省掉奖励模型和采样循环。Rafailov 等（Stanford） · NeurIPS 2023L4
- 2023《PagedAttention》导读：让推理服务装下更多请求用操作系统的分页思想管理 KV 缓存，大幅减少显存浪费，同样硬件服务更多并发。Kwon 等（UC Berkeley） · SOSP 2023L4
- 2022《Chain-of-Thought》导读：让模型把推理写出来在示例里写出中间推理步骤，大模型的多步推理准确率明显提升。Wei 等（Google） · NeurIPS 2022L3
- 2022《Chinchilla》导读：同样的算力，数据该给多少固定算力下，参数量与训练数据量应同步增长：多数大模型当年训练数据远远不够。Hoffmann 等（DeepMind） · NeurIPS 2022L4
- 2022《InstructGPT》导读：让模型学会听指令用人类反馈把「会续写」的模型训练成「会按指令办事」的模型。Ouyang 等（OpenAI） · NeurIPS 2022L4
- 2022《ReAct》导读：边推理边行动让模型交替输出想法与动作，用工具返回的结果修正下一步推理。Yao 等（Princeton / Google） · ICLR 2023L4
- 2021《LoRA》导读：用很小的代价微调大模型冻结原模型权重，只训练一对低秩小矩阵，把微调成本降到千分之一量级。Hu 等（Microsoft） · ICLR 2022L4
- 2020《Language Models are Few-Shot Learners》导读：不训练，只给例子把模型做大到千亿参数后，不改一个权重，只在提示里给几个例子，就能完成新任务。Brown 等（OpenAI） · NeurIPS 2020L4
- 2020《Retrieval-Augmented Generation》导读：让模型先查再答把检索器接进生成模型：先找出相关段落，再让模型基于段落作答。Lewis 等（Facebook AI） · NeurIPS 2020L4
- 2020《Scaling Laws》导读：模型变大，能力怎么涨参数量、数据量、计算量与模型损失之间，存在可预测的幂律关系。Kaplan 等（OpenAI）L4
- 2017《Attention Is All You Need》导读：为什么 Transformer 不需要循环用自注意力完全取代循环和卷积：训练时整句可以并行算，任意两个位置之间的距离都是一步。Vaswani 等（Google） · NeurIPS 2017L4