DOCAI · 概念 · L1
什么是推理
一句话定义
模型训练完成后，用新输入算出输出的过程——只前向计算，不改权重。
会用更新 2026-11-13核验 2026-11-13 · docai 编辑部
它是什么
训练是「改权重」，推理是「用权重」。
你每发一次请求，服务端就跑一次推理：把输入编码、逐层计算、采样出下一个 token，再循环。
代价在哪
- 预填充：先读完整个输入，输入越长越慢。
- 逐 token 生成：输出多长，就要跑多少轮。
- 显存：模型权重和中间结果都要放得下。
所以推理成本 ≈ 输入长度 + 输出长度，而不是「一次请求一个价」。
三个常见误解
- 「推理会学习」：不会。它不更新任何权重，你的反馈只在当次上下文里生效。
- 「推理和训练用的是同一套硬件」：可以共用，但推理更看重显存与吞吐，训练更看重互联带宽。
- 「同一输入必定同一输出」：不一定。采样有随机性，并行计算也可能带来细微差异。