主要来源Aravind Srinivas
查看原文事件专题 ·多源确认
Perplexity 发布 Orchestrator API:45+ 模型统一接入,KV-cache 兼容路由
Perplexity 推出 Orchestrator API,将 45+ 个开源权重模型和专有模型整合到单一 API 中,提供自动供应商故障转移和统一计费。官方指出通用模型路由在实践中效果不佳,原因在于路由切换会破坏 KV cache,且容易过拟合到少数基准测试上。 Orchestrator API 的设计思路不同:路由机制对 KV cache 友好,并由开发者自己决定哪些任务使用哪些模型。一个实际例子是,fable 5.2 常常拒绝处理一些良性的安全和生物学任务,因此 Perplexity 将这类任务以及拒绝之后的内容路由到 gpt-6.1 sol。在 terminal-bench 4.1 上,这种组合将完成任务数从 38 提升到 41(共 63 个任务)。 对开发者而言,这意味着可以在保留已有 KV cache 降本优势的前提下做任务级路由,而不是在延迟和成本之间被迫取舍。相比传统通用路由方案,Orchestrator 把模型选择权交给开发者,同时用统一计费和故障转移降低多供应商运维成本。
当前结论
Perplexity 把 45+ 个模型塞进一个 API,还解决了路由切换会毁掉 KV cache 的老问题,比如把 fable 5.2 拒答的安全任务转给 gpt-6.1 sol。做 AI 应用的开发者值得看看它和 OpenRouter 的思路差异:路由规则由你自己定。
5 个信源52° AI 热度最后更新 2026/11/17 21:05:59
证据链
5 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。