跳到正文
docai
.
cc
学 AI
学习
知识树
概念
专题
新闻
资料库
知识树
成本与商业
缓存与批处理
DOCAI · 知识树 · 成本与商业
缓存与批处理
Caching & batch
提示缓存、批处理、重复请求的复用。
这一枝现有 5 条：3 概念 · 1 课程 · 1 专题 · 0 新闻
概念
03
缓存命中率
命中缓存的输入 token 占总输入的比例；它由「前缀是否完全一致」决定，不由你希望它命中决定。
L3
上下文缓存（Context Caching）
把重复出现的长前缀存下来，命中时跳过重复计算，省 token 也降首字延迟。
L3
批量推理（Batch API）
把不急的请求打包成异步任务，多数服务按半价计；换来的代价是没有实时延迟保证。
L2
课程
01
用上下文缓存省钱
缓存不是打开开关就生效。这一课教你按「稳定在前、变化在后」重排请求，用一次对照实验算出命中率与真实节省。
L3
专题
01
提示缓存：把重复的前缀省下来
提示缓存只对稳定前缀生效。专题讲清匹配规则、命中率与计费方式，再用一节课把请求重排成缓存友好的结构，最后回到成本估算，判断这笔优化是否值得。
相邻的分支
回到领域 →
计费口径
输入输出 token、缓存命中、吞吐与首字延迟
8 条
成本优化
模型路由、截断、蒸馏与单位成本核算
3 条
商业模型
订阅、按量、毛利与定价的约束
0 条
