跳到正文
docai.cc

DOCAI · 学习路径 · L4

研究者路径:从论文到能复现的判断

给想读懂原始论文的人:先学会用评测判断改动有没有用,再手搭一次 RAG,然后按一条清晰的线索读十一篇奠基论文。

先练判断,再读结论

论文里最容易被误读的是结论的适用范围。先用改完提示,怎么知道变好了练一遍:什么叫可判定的标准,什么叫「提升不显著」。

再用搭一个最小可用的 RAG亲手跑一遍检索增强——论文里的架构图,落到代码上会暴露一堆图里没有的细节。

一条阅读线索

按「结构 → 规模 → 数据 → 对齐 → 高效微调 → 检索 → 推理 → 行动 → 服务」的顺序读,每篇只解决一个问题:

  1. 《Attention Is All You Need》——今天的模型结构从哪来。先读什么是 Transformer。
  2. 《Scaling Laws》——模型变大,损失怎么降,以及这个预测不管什么。
  3. 《Chinchilla》——同样的算力,参数量和数据量该怎么分。
  4. 《GPT-3 / Few-Shot Learners》——不微调,只给示例能做到什么。配合什么是 few-shot。
  5. 《InstructGPT》——怎么把「会续写」变成「听指令」。
  6. 《DPO》——不用强化学习也能做偏好对齐。配合什么是 RLHF。
  7. 《LoRA》——怎么用极小的代价微调。配合什么是微调。
  8. 《RAG》——把外部文档接进回答,以及它为什么不能消除幻觉。
  9. 《Chain-of-Thought》——把推理写出来为什么有用。配合什么是推理模型。
  10. 《ReAct》——推理与行动交替,今天 agent 循环的原型。
  11. 《PagedAttention》——推理服务怎么用分页管好显存。配合什么是推理。

读论文的三个习惯

  • 先读图和结论,再读方法。 大多数论文的核心在一张图里。
  • 找消融实验。 「去掉这个组件会怎样」比主结果更能说明每个部件的作用。
  • 记下它没解决什么。 论文的局限一节,往往就是后来几年研究的起点。

学完去哪

课程地图

02

按顺序学;括号里是预计时长。

  1. 01改完提示,怎么知道变好了先留一批固定测试题、给每条定判定标准、再新旧对比:没有这三步,任何「感觉好多了」都不可信。30 分钟
  2. 02搭一个最小可用的 RAG三份文档、一次向量化、一次检索、一次回答:不装框架,用最少代码看清 RAG 的每一步在哪出错。40 分钟

覆盖的概念

卡住时回概念库查一个词,不用从头重读。