主要来源arXiv cs.AI
查看原文事件专题 ·多源确认
Routing Beyond Task Categories: 基于 LAB-Bench 的成本感知路由研究
这项研究在 LAB-Bench 上测试路由策略能否在固定推理预算内提升准确率。试点阶段,基于题目类别的路由器和增加六个结构化特征的路由器都未达到 80% 主目标,在 120 道留出题上两者都选择 Haiku 并得 71/120。冻结方案后在 144 道新题上测试:语义路由得 86/144,允许读完 Haiku 答案后再推迟(deferral)的策略得 87/144,两者均控制在每千次查询 0.678 美元预算内。相比 95% Haiku + 5% GPT 的混合基线,语义路由带来 0.66 个百分点提升,deferral 带来 1.35 个百分点,配对 95% 置信区间分别为 [-0.28, 2.25] 和 [-0.14, 3.47]。一条对 Haiku 非答案直接升级的简单规则得 92/144,但成本升至每千次 0.710 美元,超出预算。后续开发检查中 Astra 和 Gemini 各得 30/40,各路由家族最佳策略也达到该分数,但未达到 32/40 标准,原定的 120 题评估未启动。
当前结论
想在有限预算里用便宜模型跑、必要时切贵模型的人应该看看这篇。它在 LAB-Bench 上实测了几种路由策略,发现语义路由和 deferral 各提 0.66 和 1.35 个百分点,但置信区间跨零,效果未必稳。写模型路由代码前值得对齐一下预期。
3 个信源27° AI 热度最后更新 2026/11/16 08:38:20
证据链
3 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。