DOCAI · 知识树 · 01

基础原理

Foundations

模型为什么能生成文字，又为什么会出错。这一枝不要求你会数学，但要求你不满足于「AI 就是很聪明」。先把 token、向量、注意力、训练这几个词弄明白，后面读模型、读价格、读故障，才不会只剩感觉。建议顺序：先读语言模型，再读 Transformer，最后读训练与对齐。

5 个分支 · 19 概念 · 3 课程 · 0 专题 · 0 新闻

从这三条开始

先读一篇专题或一节课，再回头补概念，比从词条开始快。

每个分支都能单独走完；读完再回来看兄弟分支，不会重复。

Machine learning

AI、机器学习、深度学习、神经网络与推理的关系

Language models

token、词表、embedding：模型眼里的文字是什么

注意力、参数量、MoE：一次生成是怎么算出来的

Training & alignment

预训练、微调、RLHF、蒸馏、量化：能力从哪来

Multimodal

图片、音频、视频怎样变成模型能读的 token