DOCAI · 概念 · L2
批量推理是什么，什么时候便宜
一句话定义
把不急的请求打包成异步任务，多数服务按半价计；换来的代价是没有实时延迟保证。
开发者更新 2026-11-13核验 2026-11-13 · docai 编辑部
它和普通接口的差别
普通接口是同步的：发一条，等几秒，拿结果。
批量接口是异步的：把成百上千条请求打包上传，服务在后台慢慢跑， 完成后给你一个结果文件。多数服务承诺的是小时级完成，不是秒级。
价格差别也很直接：主流服务对批量请求按约五折计费， 因为排队让服务端能把空闲算力填满。
适合什么
| 适合 | 不适合 |
|---|---|
| 离线标注、分类、打标签 | 用户正在等结果的对话 |
| 历史数据回溯处理 | 有严格时延要求的线上功能 |
| 大批量内容生成（摘要、改写） | 需要多轮交互才能定下来的任务 |
| 评测集跑分 | 结果依赖前一条结果的链式任务 |
判断标准只有一条：用户是不是在等。不在等，就考虑批量。
和限流的关系
批量任务不占用实时配额，这也是它在高并发场景里的另一个价值： 把离线任务挪到批量接口，实时请求的限流压力会小很多。
反过来，如果把批量当实时用，排队时间不可控，重试也会打乱顺序。
工程上要注意
- 每条请求带自定义 ID：结果文件是无序的，靠 ID 对回去。
- 失败要能单独重跑：批量任务里通常有少量失败项，不要整批重发。
- 结果先落盘再处理：避免一次解析异常把整批结果丢掉。
- 时效写进 SLA：承诺「24 小时内」而不是「马上」，避免用户预期错位。
常见误解
- 「批量一定更便宜」：只有在任务本来就不急时才是净赚；为了用批量而把实时功能改成异步，是另一种成本。
- 「批量可以无限并发」：仍然有队列上限和单批大小限制，看各家的官方文档。
- 「批量结果和实时完全一样」：多数服务保证同一模型，但采样随机性仍在，评测时要固定参数。