跳到正文
docai
.
cc
学 AI
学习
知识树
概念
专题
新闻
资料库
知识树
基础原理
Transformer
DOCAI · 知识树 · 基础原理
Transformer
Transformer
注意力、参数量、MoE：一次生成是怎么算出来的。
这一枝现有 4 条：4 概念 · 0 课程 · 0 专题 · 0 新闻
概念
04
注意力（Attention）
让模型在处理某个位置时，按相关性给其他所有位置分配权重，再加权求和。
L3
MoE（混合专家）
把模型拆成多个「专家」子网络，每次只激活其中少数几个，用更少的计算跑更大的参数量。
L3
Transformer（变换器）
2017 年提出的序列模型结构：用自注意力让每个位置直接看所有位置，训练可以并行。
L3
参数（Parameters）
模型里可训练数值的总数，通常以「亿/十亿」计；它决定容量，也决定训练与推理成本。
L2
相邻的分支
回到领域 →
机器学习基础
AI、机器学习、深度学习、神经网络与推理的关系
5 条
语言模型
token、词表、embedding：模型眼里的文字是什么
6 条
训练与对齐
预训练、微调、RLHF、蒸馏、量化：能力从哪来
5 条
多模态
图片、音频、视频怎样变成模型能读的 token
2 条
