事件专题 ·多源确认

Vercel 推出 Private Inference,可在 AI Gateway 中接入自托管与微调模型

Vercel 宣布 Private Inference 正式上线 AI Gateway,开发者可通过 private/<slug> 的路由方式,把自己的微调模型、自托管模型或未公开发布的预发布模型接入网关,与目录中的商业模型混用。这些私有模型走同一套 API、鉴权与日志体系,不需要为私有部署单独维护调用链路。CEO Guillermo Rauch 在推文中把这套思路归纳为四点:使用开放的 SDK 与 harness、通过 Gateway 掌控模型选择、掌控 traces 与数据并执行 ZDR(零数据保留)、通过私有推理掌控自己的模型。 技术上看,Private Inference 的核心价值在于统一入口:无论请求打到 OpenAI 等目录模型,还是打到你自己部署在私有环境的模型,代码层面都是同一套 API 调用,日志和追踪也落在同一处,方便做灰度切换和成本对比。ZDR(Zero Data Retention)的强调意味着数据不会被 Vercel 侧留存,这对有合规要求的团队是关键点。对开发者而言,这意味着可以在不自建网关层的情况下,实现对模型供应商、私有模型和数据流的完整掌控,把'智能路线图'的所有权留在自己手里。

当前结论

Vercel 把私有模型接进了 AI Gateway,一个 private/ 前缀就能同时调用自托管和商业模型,日志鉴权全统一,还支持零数据保留。正在自建模型网关或纠结混合部署的团队可以看看这套方案。

11 个信源42° AI 热度最后更新 2026/11/16 22:36:21

证据链

11 个信源
相关来源 2阿里通义 Qwen
查看原文
相关来源 5Simon Willison’s Weblog
查看原文
相关来源 8Aravind Srinivas
查看原文
相关来源 10TestingCatalog
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。