上线前的检查清单

六项检查

1. 鉴权

• key 只从环境变量或密钥管理读取，代码库里搜不到。
• 生产与测试用不同的 key，出事能单独吊销。
• 见什么是 API Key。

2. 超时

• 连接超时、首字节超时、总超时都设了。
• 卡住的请求会自己退出，不会拖垮线程池。
• 流式细节见什么是流式输出。

3. 限流与重试

• 429 有指数退避，且重试有上限。
• 客户端并发有上限，不会把额度一次打光。
• 见什么是限流。

4. 成本

• max_tokens 有上限。
• 按 key 或用户设了日配额。
• 有余额告警，不是等欠费才发现。
• 长前缀考虑开上下文缓存。

5. 日志

• 每次请求记录：时间、模型、输入输出 token、耗时、状态码、错误码。
• 不记录完整 key，不记录敏感原文。

6. 回滚

• 提示词有版本号，改坏了能切回上一版。
• 换了模型能切回原模型。
• 有一键关闭该功能的开关。

上线当天再看三件事

1. 错误率：401/429/5xx 各自的比例。
2. p95 延迟：平均值会骗人。
3. 单次成本：实际 token 用量是否与估算接近。

一个容易被跳过的检查

在生产环境用小流量真跑一次。测试环境永远比生产干净：真实的网络、真实的输入长度、真实的并发。

自测

1. 为什么生产与测试要用不同的 key？
2. 只设总超时会漏掉哪种故障？
3. 上线第一周，你最该盯的是平均延迟还是 p95？