max_tokens 超出模型上限:怎么调
400常见max_tokens参数30 秒结论
max_tokens 设得比模型能输出的还大。调小到模型上限以内。
报错原文对照
{"type":"error","error":{"type":"invalid_request_error","message":"max_tokens: 8192 > 4096, maximum allowed"}}
原因排序
| 概率 | 原因 |
|---|---|
| 55% | 照着别的模型抄了 max_tokens |
| 30% | 把上下文窗口当成输出上限了 |
| 15% | 中转站改了上限 |
修法
先在自己这边查
- 查该模型文档里的 max output
- 先设 1024 试通再调大
- 不确定就设 4096
再往服务方查
- 中转站可能把输出上限压得更低
责任判定表
| 现象 | 责任方 |
|---|---|
| 直连官方也报 | 你设的值 |
| 只有某站报 | 那站的上限更小 |
| 换模型就好 | 模型能力差异 |
什么时候该换
长期用就把 max_tokens 做成配置项,跟着模型走。
还是没解决?把报错贴进来
新用户福利:先免费试,再决定充值
注册就送积分,可兑换 API 额度。拿真实请求验证本页结论,比看十篇教程都有用。
领免费额度