AITOPAI热报

模型路由

共 46 条相关 AI 资讯
6月3日
23:42
19:13
19:13小互@imxiaohu
国内团队开源了 OpenSquilla，用 Python 重写了“小龙虾”项目，解决了其 Token 消耗高、不按规则执行和安全问题。它集成本地小模型，对请求进行智能路由：简单任务派给便宜模型，复杂任务才用顶级模型，类似医院分诊。官方测试显示，25 个任务混合使用 Opus 4.7、GLM 5.1 和 DS4 Flash，成本从 6.2 美元降至 0.68 美元，效果几乎一致。此外，它还能根据对话语义只注入匹配度最高的 Skill，避免将所有 Skill 描述塞入上下文，100 次对话可省 100 万 Token。
AI产品开源/仓库Token 优化模型路由
推荐理由：AI 调用成本高、Token 浪费严重的团队终于有了实用解法——OpenSquilla 智能路由能省 90% 费用，做多模型编排或 Skill 密集型应用的开发者值得立刻试试。
原文
08:52
07:45
07:45Jerry Liu@jerryjliu0
LlamaIndex 创始人 Jerry Liu 指出，初创公司相比前沿实验室的一个核心优势在于模型路由（model routing）能力。随着开源和闭源模型在成本-性能曲线上形成健康分布，初创公司可以通过为每个任务精准选择最合适的模型，在保持前沿性能的同时将成本和延迟降低 2-10 倍。Factory 推出的模型路由功能正是这一理念的实践，能自动为每个任务选择最佳模型，削减 25% 成本。这一策略让初创公司能够优化模型组合，实现更高的效率。
AI产品模型路由成本优化初创公司
推荐理由：模型路由是 AI 应用落地的关键杠杆，做 AI 产品/Agent 的团队可以直接借鉴——用更少的钱跑出更好的效果，建议点开看看具体怎么实现。
原文
5月28日
06:14
06:14rohanpaul_ai@rohanpaul_ai
The Grid 是一个智能推理路由层，它根据任务复杂度自动选择最合适的模型，并按实时市场价格计费，而非固定费率。用户只需定义任务等级（标准、高级、最大），The Grid 会在多个供应商中动态选择最便宜的可用模型。这避免了为简单任务支付高端模型费用，也摆脱了对单一供应商的依赖。新用户可免费使用前 2 亿 token。作者演示了如何将 Hermes Agent 与 The Grid 集成，在本地运行代理但通过 The Grid 调用 AI。
AI产品推理成本模型路由供应商管理
推荐理由：做 AI 应用开发的团队，如果还在为推理成本头疼，The Grid 的思路值得一试——它用市场机制替代了固定定价，简单任务不再花冤枉钱。
原文
5月11日
22:18