用提示词缓存降低 Agent 费用
Agent 每一轮都会重发整段对话。算清提示词缓存能省多少,再找出代码里让缓存失效的改动。
Agent 每一轮都会重发整段对话,账单的大头是输入 token。提示词缓存能把这部分降下来:供应商存下提示词的开头,之后的请求只要以同样的 token 开头,这一段就按更低的价格计费。
命中一次省多少
我们用一段 9,150 token 的对话在 anthropic/claude-haiku-4-5 上实测,费用单位是 Credits,250,000 Credits 等于 1 美元。
| 请求 | 费用(Credits) |
|---|---|
| 不用缓存 | 2,535 |
| 第一个请求,写入缓存 | 3,168 |
| 之后的请求,读取缓存 | 275 |
第一个请求比不用缓存多花 633 Credits,第二个请求省下 2,260 Credits,命中一次就回本了。
这段对话发十次,不用缓存要 25,350 Credits,用缓存是 5,643 Credits,少 78%。你能省多少,取决于模型、相同开头的长度,以及有多少请求复用它。
查自己的命中率
先看单个请求的用量。收据里有两个计数:
usage.cache_creation_tokens:这个请求写入缓存的 token 数。usage.cache_read_tokens:这个请求从缓存读取的 token 数。
如果从第二轮起 cache_read_tokens 一直是 0,说明代码里有地方改动了提示词的开头。要看一段时间的情况,用用量页的「缓存节省」一列。
找出让缓存失效的原因
缓存从第一个 token 起逐个比对,到第一处不同为止,后面全部按原价计费。常见原因有:
- 系统提示词里有会变的值,比如时间戳、请求 ID、用户名。把它们移到最新一条用户消息里。
- 工具的顺序变了,或者工具 JSON 的键顺序变了。两者都要固定。
- 每一轮都在改写或总结之前的消息。少改,要改就一次改一大段。
- 同一段对话换了模型。各模型的缓存互不相通。
- 提示词太短。每个模型都有最低长度。
标明哪些请求属于同一段对话
一段对话的每一轮都带上同一个值,供应商才能把重复的提示词送到同一份缓存。Chat Completions 和 Responses 用 prompt_cache_key:
curl https://api.ohmygpt.com/v1/responses \
-H "Authorization: Bearer $OHMYGPT_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "openai/gpt-5.4-nano", "prompt_cache_key": "conv-8f2c", "instructions": "<the same long instructions every turn>", "input": "Hi"}'我们用 8,351 token 的提示词把这个请求发了两次,第二次的响应报告有 7,936 个 token 命中缓存。
Claude 模型只缓存请求里标记过的部分。通过 Anthropic Messages 调用 Claude 时,要自己加 cache_control。各协议用哪个字段,见提示词缓存。
什么时候缓存反而更贵
在 Claude 模型上,写缓存比普通输入贵。只发一次的提示词不要标记,至少有一个后续请求会复用同样的开头时才划算。