docai.cc

缓存计价:被大多数人忽略的一半账单

固定系统提示词和多轮对话场景,缓存能省一半以上。这篇讲清缓存怎么算、为什么有的模型便宜。

成本更新 2026-10-28· 真机验证 2026-10-28 by 码农阿风

缓存是什么

如果你每次请求都以同一段长文本开头(比如系统提示词、知识库、代码文件),服务商可以把这段缓存起来,下次不再重复计费。

价格差多少

项目 典型倍数
正常输入 1×
缓存命中读取 0.1× - 0.25×
缓存写入 1× - 1.25×

命中缓存后,那部分输入的价格降到 十分之一左右。

什么场景值得开

  • 固定系统提示词很长(> 2000 token)
  • 多轮对话,历史消息重复发送
  • 同一份文档反复查询

如果系统提示词只有几百 token,缓存收益很小,不用特意优化。

怎么提高命中率

  1. 把固定内容放在最前面,变动内容放后面
  2. 不要每次改动系统提示词的一个字
  3. 同一会话内连续请求

注意

不同厂商的缓存机制不一样:有的自动,有的要显式标记,有的有最短长度要求。用之前查一下目标模型的缓存文档。