DOCAI · 概念 · L0
什么是 token
一句话定义
模型处理文本的最小单位：一个词、词的一部分或一个标点；计费和上下文长度都按它算。
零基础更新 2026-11-13核验 2026-11-13 · docai 编辑部
为什么不用字或词
按字切，序列太长，模型要处理的步数暴涨；按词切，词表有限，遇到新词、拼写变体、专业术语就没法处理。
子词切分是折中：把常见词整块保留，把生僻词拆成更小的片段。这样词表可控，任何文本都能切。
怎么切
最常见的做法是 BPE（字节对编码）：从字符开始，反复把最常一起出现的片段合并，直到词表达到设定大小。
结果是每个模型有自己的词表。同一句话，在不同模型上切出的 token 数可能不一样。
中英文的差别
英文里一个常见词通常是一个 token；中文里一个字可能是一个 token，也可能是两个（取决于词表和上下文）。
所以「中文更省 token」这个说法不成立，反过来也不成立。要估算，只能用你实际使用的模型去数。
计费与上下文长度
- 计费：输入 token 和输出 token 分开计价。
- 上下文：输入 token + 输出 token 的总和，不能超过上下文窗口。
三个常见误解
- 「token 就是字」：不是。英文一个词可能一个 token，中文一个字可能两个。
- 「不同模型的 token 数可以互相换算」：不能。词表不同，切法不同。
- 「按字数除个固定值就能估账单」：只能粗估。账单以服务端计数为准。