Token 怎么估算：中文到底占多少
不同模型的 tokenizer 差异很大，中文尤其明显。这篇给可操作的估算方法和留余量建议。
成本更新 2026-10-28· 真机验证 2026-10-28 by 码农阿风
粗略估算
| 语言 | 大约 |
|---|---|
| 英文 | 1 token ≈ 4 字符 ≈ 0.75 词 |
| 中文 | 1 token ≈ 1-2 个汉字 |
中文比英文更费 token。 同样意思的一段话，中文可能占 1.5-2 倍的 token。
为什么不能用一个标准
每个模型用自己的 tokenizer：
- GPT 系列用 tiktoken
- Claude 用自己的
- 国产模型各有各的
同一个中文句子，在不同模型下的 token 数可能差 30%。
实用做法
- 用目标模型自己的 tokenizer 算（官方一般有库）
- 拿不到就用保守估计：中文按 1 字 = 1.5 token
- 预留 20% 余量
别忘了这些也占 token
- 系统提示词
- 工具/函数定义（这块经常被忽略，一个复杂工具定义可能上千 token）
- 历史消息
- 图片（按尺寸折算）
一个常踩的坑
你以为只发了 2000 token，实际系统提示 1500 + 工具定义 2000 + 历史 3000，总共 8500。报上下文超限时先算这个总和。