token 计数对不上：为什么算的比实际少

30 秒结论

不同模型的 tokenizer 不一样，中文尤其差得多。别用一套估算所有模型。

报错原文对照

报错提示 context 超限，但你自己算没超

计费比预估高

原因排序

概率	原因
60%	用错了 tokenizer
25%	中文 token 效率低
15%	没算上系统提示词和工具定义

修法

先在自己这边查

1. 用目标模型自己的 tokenizer 估算
2. 预留 20% 余量
3. 把工具定义也算进去

再往服务方查

1. 中转站可能改写请求导致 token 变化

责任判定表

现象	责任方
换成目标模型 tokenizer 就对上	估算方法
差很多	中文效率
带上工具就超	工具定义

什么时候该换

计费和窗口都按目标模型的 tokenizer 算。