Serverless

general · 首次出现 2026-05-22 · 最近出现 2026-11-19 · 累计提及 122

综述

Serverless(无服务器计算)是一种开发者无需购买或管理底层服务器资源、按实际用量计费的云服务模式。随着大模型推理需求爆发,Serverless 正从传统的事件驱动函数计算,扩展到 GPU 推理和模型微调等 AI 场景,成为云厂商竞争的新焦点。

Serverless 在 AI 领域的近期进展

  • Databricks AI Runtime 正式发布,提供按需 Serverless GPU:Databricks 推出 AI Runtime,向企业客户提供按需 Serverless GPU 能力,把模型部署和推理托管纳入其数据智能平台。
  • SageMaker AI 推出训练会话,免管理 GPU 自定义模型微调:AWS 在 SageMaker AI 中新增训练会话功能,用户无需自行管理 GPU 即可完成自定义模型微调,将 Serverless 理念延伸到训练侧。
  • Reflection AI 开放权重模型 Beam 上线 CoreWeave Serverless Inference:CoreWeave 持续扩充其 Serverless Inference 平台的模型目录,Reflection AI 的开放权重模型 Beam 已上线可用;此前 NVIDIA 的 Nemotron 3.5 Super VL 也已通过该平台提供无服务器推理。
  • GearUp:利用 DAG 空闲时间隐藏 Serverless 推理加载开销:学术界也在关注 Serverless 推理的痛点,GearUp 论文提出利用 DAG 工作流的空闲时间来掩盖模型加载延迟,缓解冷启动问题。
  • 当前焦点与观察点

    目前的趋势是「无服务器化」从托管代码走向托管模型。Databricks 与 AWS 都在把 GPU 的分配、扩缩容和运维抽象掉,让企业像调用 API 一样完成微调和推理,Databricks 与 NVIDIA 的合作进一步支持企业用自有数据微调开源模型。

    基础设施层面,CoreWeave 等新兴算力厂商正把 Serverless Inference 作为差异化产品,竞争点在于模型目录丰富度和冷启动速度;W&B SDK 将 CoreWeave Forge 设为默认端点,说明工具链也在向这类平台靠拢。

    值得关注的问题有三个:一是冷启动和模型加载延迟仍是 Serverless 推理的核心技术瓶颈,学界与工业界都在寻找优化方案;二是按量计费 GPU 推理的成本在规模化场景下是否优于预留实例,尚无统一结论;三是随着 TokenPulse 等推理服务商在新加坡开设 APAC 中心,区域化部署和数据合规可能成为厂商布局的下一个变量。

    相关报道

    10 条在档