产品官方一手

GPT-6 改进提示词缓存:更高命中率与显式断点控制

Better prompt caching for GPT-6

精选理由

OpenAI 给 GPT-6 的提示词缓存加了诊断工具和手动断点,写长上下文应用的人能直接省 token 费用,还能自己控制缓存边界。

OpenAI 为 GPT-6 引入了更完善的 prompt caching 机制,官方称缓存命中率较此前更高。新增 diagnostics 工具可查看缓存命中情况,方便排查延迟问题。开发者还能使用 explicit breakpoints 手动标记缓存边界,并调整缓存控制选项。这些改动同时降低了推理延迟和 token 费用,对长上下文或多轮对话应用尤其有用。

原文 · OpenAI Blog

Better prompt caching for GPT-6

Learn how GPT-6 improves prompt caching with higher cache hit rates, new diagnostics, explicit breakpoints, and controls that reduce latency and costs.