# 用提示词缓存降低 Agent 费用 (/blog/zh-CN/prompt-caching-costs)

Agent 每一轮都会重发整段对话。算清提示词缓存能省多少，再找出代码里让缓存失效的改动。

Agent 每一轮都会重发整段对话，账单的大头是输入 token。提示词缓存能把这部分降下来：供应商存下提示词的开头，之后的请求只要以同样的 token 开头，这一段就按更低的价格计费。

## 命中一次省多少 [#命中一次省多少]

我们用一段 9,150 token 的对话在 `anthropic/claude-haiku-4-5` 上实测，费用单位是 Credits，250,000 Credits 等于 1 美元。

| 请求 | 费用（Credits） |
|---|---|
| 不用缓存 | 2,535 |
| 第一个请求，写入缓存 | 3,168 |
| 之后的请求，读取缓存 | 275 |

第一个请求比不用缓存多花 633 Credits，第二个请求省下 2,260 Credits，命中一次就回本了。

这段对话发十次，不用缓存要 25,350 Credits，用缓存是 5,643 Credits，少 78%。你能省多少，取决于模型、相同开头的长度，以及有多少请求复用它。

## 查自己的命中率 [#查自己的命中率]

先看单个请求的用量。[收据](/docs/zh-CN/costs#查询单个请求)里有两个计数：

- `usage.cache_creation_tokens`：这个请求写入缓存的 token 数。
- `usage.cache_read_tokens`：这个请求从缓存读取的 token 数。

如果从第二轮起 `cache_read_tokens` 一直是 0，说明代码里有地方改动了提示词的开头。要看一段时间的情况，用[用量](https://www.ohmygpt.com/usage)页的「缓存节省」一列。

## 找出让缓存失效的原因 [#找出让缓存失效的原因]

缓存从第一个 token 起逐个比对，到第一处不同为止，后面全部按原价计费。常见原因有：

1. 系统提示词里有会变的值，比如时间戳、请求 ID、用户名。把它们移到最新一条用户消息里。
2. 工具的顺序变了，或者工具 JSON 的键顺序变了。两者都要固定。
3. 每一轮都在改写或总结之前的消息。少改，要改就一次改一大段。
4. 同一段对话换了模型。各模型的缓存互不相通。
5. 提示词太短。每个模型都有最低长度。

## 标明哪些请求属于同一段对话 [#标明哪些请求属于同一段对话]

一段对话的每一轮都带上同一个值，供应商才能把重复的提示词送到同一份缓存。Chat Completions 和 Responses 用 `prompt_cache_key`：

```bash
curl https://api.ohmygpt.com/v1/responses \
	-H "Authorization: Bearer $OHMYGPT_API_KEY" \
	-H "Content-Type: application/json" \
	-d '{"model": "openai/gpt-5.4-nano", "prompt_cache_key": "conv-8f2c", "instructions": "<the same long instructions every turn>", "input": "Hi"}'
```

我们用 8,351 token 的提示词把这个请求发了两次，第二次的响应报告有 7,936 个 token 命中缓存。

Claude 模型只缓存请求里标记过的部分。通过 Anthropic Messages 调用 Claude 时，要自己加 `cache_control`。各协议用哪个字段，见[提示词缓存](/docs/zh-CN/prompt-caching)。

## 什么时候缓存反而更贵 [#什么时候缓存反而更贵]

在 Claude 模型上，写缓存比普通输入贵。只发一次的提示词不要标记，至少有一个后续请求会复用同样的开头时才划算。
