亚马逊 Bedrock 推出提示词缓存功能
Optimizing cost and latency with Amazon Bedrock prompt caching
精选理由
亚马逊新功能，能帮你省下 90% 的重复输入成本，具体操作方法都在里面。
亚马逊 Bedrock 的提示词缓存功能可大幅降低重复发送相同上下文的输入令牌成本，最高达 90%。本文通过 Converse API 展示了六种实用场景，包括消息内容、系统提示、工具定义等。
原文 · AWS Machine Learning Blog
Optimizing cost and latency with Amazon Bedrock prompt caching
Prompt caching in Amazon Bedrock can cut input token costs by up to 90% when you repeatedly send the same context to foundation models. This post walks through six practical prompt caching scenarios using the Converse API: message content, system prompt, tool definition, mixed TTL, tenant isolation, and LangChain integration.