技巧官方一手
在 Amazon Bedrock 上使用 Prompt 缓存优化 OpenAI 模型的智能体运行成本
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
精选理由
智能体每跑一步都要重读全部上下文，这篇 AWS 博客教你在 Bedrock 上给 OpenAI 模型配 prompt 缓存，省钱又降延迟。
智能体每执行一步都会重新读取完整上下文，包括工具定义、指令和历史记录，这带来重复的输入开销。AWS 官方博客介绍了在 Amazon Bedrock 上针对 OpenAI 模型配置 prompt 缓存的做法，让同一轮对话中不变的部分不必每次重发。文中给出了具体的缓存模式，用于降低输入 token 成本并减少延迟。
原文 · AWS Machine Learning Blog
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
Every time an agent takes a step, it re-reads its entire context before acting. Here is how prompt caching for OpenAI models on Amazon Bedrock lets your agent remember, cutting input cost and latency without resending the same tools, instructions, and history every turn.