产品

AWS Lambda 新增 GPU 支持,面向无服务器推理场景

AWS Lambda adds GPU support for serverless inference

精选理由

做后端的朋友注意,AWS Lambda 终于能直接跑 GPU 推理了。以前在 serverless 里跑模型只能绕道 EC2 或 EKS,现在按调用付费就行,流量稀疏的应用能省不少闲置 GPU 的钱。

AWS 宣布为其无服务器计算服务 Lambda 增加 GPU 支持,用于承载需要 GPU 加速的推理工作负载。AWS 指出,这类工作负载此前通常需要团队自行搭建和管理 GPU 基础设施。

正文

通过把 GPU 能力直接接入 Lambda 的按量计费模型,开发者无需再维护常驻的 GPU 服务器,可以在推理请求到达时自动分配算力,请求结束后释放资源。这对流量波动大的推理场景(例如周期性批处理、低频调用模型)尤其有用,能显著减少闲置 GPU 的成本浪费。

在这之前,需要在无服务器架构里跑推理的开发者通常要退回到 EC2、EKS 等需要自己扩缩容的方案,或者依赖 Lambda 之外的专用推理服务。GPU 加持后的 Lambda 补上了这一缺口,对后端工程师和企业用户意味着可以用一套编程模型同时覆盖 CPU 业务逻辑与 GPU 推理。

原文 · Tech in Asia

AWS Lambda adds GPU support for serverless inference

AWS said the feature targets workloads that need GPU acceleration but are often built on self-managed infrastructure.

产业坐标与信源核验

本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:AWS Lambda、serverless、GPU 推理、AI基础设施,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Tech in Asia」(@Aiko Gao Ishida),经 AITOP 多维评分管线结构化提炼。