ArisGlobal 用 Amazon Bedrock 前缀缓存把推理成本降低约 40%
How ArisGlobal scaled generative AI inference on Amazon Bedrock
这是制药行业公司 ArisGlobal 的实战省钱案例,核心思路很简单:把所有请求共用的那段长提示词缓存起来,输入费用直接砍半,每月推理账单省了 40%。如果你的应用也是固定系统提示词加变化文档的结构,照抄这套做法就能降本。
生命科学 AI 平台 ArisGlobal 的 NavaX 引擎运行在 Amazon Bedrock 上,通过缓存共享提示词前缀而非每个病例文档,有效输入成本降低约 50%,整体月度推理支出降低约 40%。
具体机制是:NavaX 处理多租户场景时,不同案例会共享同一段较长的系统提示词前缀,而每次变化的只是末尾的病例文档内容。Bedrock 的 prompt caching 让重复的前缀只需计费一次缓存读取,后续请求不再重复支付完整的输入 token 费用。
结果上 ArisGlobal 在成本下降的同时接入了更多租户,且成本没有随租户数量按比例增长。这类前缀缓存优化对同样采用固定长系统提示词加可变文档输入模式的企业应用有直接参考价值。
How ArisGlobal scaled generative AI inference on Amazon Bedrock
ArisGlobal runs NavaX, its life-sciences AI engine, on Amazon Bedrock. By caching the shared prompt prefix instead of each per-case document, ArisGlobal cut effective input cost by about 50% and overall monthly inference spend by about 40%, while onboarding more tenants without proportional cost growth.
本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Amazon Bedrock、ArisGlobal、prompt caching、提示词工程,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始信息发布自一手权威信源「AWS Machine Learning Blog」(Tier-1 一手发布),具备高确定性参考价值。