什么是限流

它是什么

服务端给每个账号（或每个 key）设的配额：单位时间内最多多少请求、多少 token。

超过的请求不是排队，而是直接回 429 Too Many Requests。

两种口径

口径	限制什么	什么时候会撞上
RPM（每分钟请求数）	次数	高频小请求，比如批量分类
TPM（每分钟 token 数）	体量	少次大请求，比如长文档分析

两个都算。一次塞进 10 万 token 的请求，可能第一次就撞 TPM。

注意：额度通常按估算的输入 + 预留的输出计算，不是只算实际用量。

撞上了怎么办

1. 读响应头：服务端一般会告诉你剩余额度、何时重置。
2. 指数退避：等 1s、2s、4s……并加随机抖动，避免所有客户端同时重试。
3. 有上限：重试 3–5 次仍失败就放弃并记录，不要无限重试把额度烧光。
4. 削峰：客户端排队、降低并发，比事后重试更省。

三个常见误解

• 「429 就是被封号」：不是。绝大多数是暂时的速率问题。
• 「重试越快越好」：错。同步重试会让情况更糟，必须退避加抖动。
• 「升级套餐就没有限流」：还有，只是额度更高。任何共享服务都有上限。

和相邻概念对比

概念	含义
限流	单位时间内的频率上限
配额	周期内的总量上限（如每月 token）
并发限制	同一时刻在跑的请求数上限

三者独立，可能同时生效。

延伸阅读

• 高峰期为什么首字变慢：什么是首字延迟
• key 的权限与配额：什么是 API Key