推理服务

general · 首次出现 2026-05-22 · 最近出现 2026-11-20 · 累计提及 49

综述

推理服务是指将训练好的大模型以 API 或托管形式对外提供响应的基础设施层,处在模型厂商与终端应用之间,是大模型落地的关键环节。当前这一领域的竞争焦点正从单纯的吞吐和价格,转向算力自有化、跨区域调度与缓存效率等更深层的工程问题。

推理服务的近期进展

  • SiliconFlow 将携 170+ 开源模型亮相迪拜 Expand North Star 2026:SiliconFlow 计划在迪拜 Expand North Star 2026 大会上展示 170 多个开源模型的推理服务,显示出开源模型聚合平台正加速向中东等新兴市场扩张。
  • Parasail 将规模化部署 Positron Titan 服务器,单机可容纳 32 万亿参数模型:Parasail 接入 Positron Titan 推理服务器并计划规模化部署,单机即可容纳 32 万亿参数模型,专用推理硬件开始挑战通用 GPU 集群方案。
  • Amazon SageMaker AI 推出跨区域推理路由,应对区域容量不足:AWS 在 SageMaker AI 中引入跨区域推理路由,当某一区域容量不足时自动切换,反映出 GPU 算力紧张已迫使云厂商在调度层面做容错设计。
  • 算力紧缩下 Fal、Together、Baseten 转向自购 Nvidia 芯片:据 The Information 报道,Fal、Together、Baseten 等推理服务商在算力紧缩背景下开始自购 Nvidia 服务器,而非依赖第三方云。此前 Fireworks 数据泄露事件也被视为加速这一转向的因素之一。
  • 当前焦点与观察点

    算力自有化成为趋势。 租用第三方 GPU 在成本、容量保障和数据安全上都暴露出短板,Fireworks 数据泄露事件后,更多推理服务商倾向于重资产持有 Nvidia 服务器。Databricks 研究副总裁也公开表示不会使用质量较差的 neocloud GPU,说明大客户对推理服务供应链可靠性的要求在提高。

    开源模型的商业分配引发讨论。 Tech in Asia 援引 OpenRouter 数据指出,开源模型已占其 60.8% 的推理量,但收入大头流向了第三方托管平台而非模型作者,围绕开源模型价值分配的争议可能推动新的分成机制出现。

    缓存与调度层面的优化仍在推进。 学术侧出现 Stint(减少长输出场景下 KV 缓存抢占的算力浪费)和 Callo(在 prefill-decode 分离架构下利用失效 KV 加速缓存未命中请求)等工作,说明推理服务的效率竞争已深入到 KV 缓存管理这类细粒度环节。后续值得观察的是:专用推理服务器能否规模化替代通用 GPU、跨区域路由能否成为云厂商标配,以及开源模型托管商业模式如何重塑。

    相关报道

    10 条在档