推理服务是指将训练好的大模型以 API 或托管形式对外提供响应的基础设施层,处在模型厂商与终端应用之间,是大模型落地的关键环节。当前这一领域的竞争焦点正从单纯的吞吐和价格,转向算力自有化、跨区域调度与缓存效率等更深层的工程问题。
推理服务的近期进展
当前焦点与观察点
算力自有化成为趋势。 租用第三方 GPU 在成本、容量保障和数据安全上都暴露出短板,Fireworks 数据泄露事件后,更多推理服务商倾向于重资产持有 Nvidia 服务器。Databricks 研究副总裁也公开表示不会使用质量较差的 neocloud GPU,说明大客户对推理服务供应链可靠性的要求在提高。
开源模型的商业分配引发讨论。 Tech in Asia 援引 OpenRouter 数据指出,开源模型已占其 60.8% 的推理量,但收入大头流向了第三方托管平台而非模型作者,围绕开源模型价值分配的争议可能推动新的分成机制出现。
缓存与调度层面的优化仍在推进。 学术侧出现 Stint(减少长输出场景下 KV 缓存抢占的算力浪费)和 Callo(在 prefill-decode 分离架构下利用失效 KV 加速缓存未命中请求)等工作,说明推理服务的效率竞争已深入到 KV 缓存管理这类细粒度环节。后续值得观察的是:专用推理服务器能否规模化替代通用 GPU、跨区域路由能否成为云厂商标配,以及开源模型托管商业模式如何重塑。