产品

NaceAI 发布 Drex Router:57-87 毫秒完成 LLM 路由决策

精选理由

NaceAI 刚上线的 Drex Router 用 12B 的 Gemma 模型在 90 毫秒内帮你挑 LLM,价格只有 Jev Router 的十分之一。做多模型调用、想省 token 钱的开发者可以看看,它还带概率和理由输出,方便做降级兜底。

NaceAI 推出 Drex Router,一个放在 LLM 调用前的路由器。它基于 Gemma 构建的 12B 模型读取提示词和候选模型列表,约 57-87 毫秒返回选择结果,单次决策延迟低于 90 毫秒,几乎可插入任何 LLM 调用链路。

正文

在 Nace 的 1,400 道常识考试题测试中,Drex Router 达到 87.6% 的路由准确率,成本为每 1,000 次查询 0.10 美元;对比的 Jev Router 准确率 86.4%,成本 1.09 美元,价格相差约 10 倍。

区别于只返回模型名的路由器,Drex Router 对每个候选模型输出一个概率值和一段简短理由,使用者能区分高置信选择和近乎随机的猜测,便于在路由不可靠时设置降级或人工兜底策略。

原文 · rohanpaul_ai

A model decision in under 90 ms is fast enough to put a router in front of almost any LLM call.

@NaceAI just launched Drex Router, and it reads the prompt and your list of models, then returns its pick in about 57 to 87 ms, using a 12B model built on Gemma.

In Nace’s tests on 1,400 general-knowledge exam questions, it scored 87.6% for $0.10 per 1,000 questions, while rival Jev Router scored 86.4% for $1.09.

A router that only returns a model name can’t tell you a confident pick from a coin flip. Drex Router returns a probability for every candidate plus a short reason,

产业坐标与信源核验

本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Drex Router、NaceAI、Gemma、LLM Router,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「rohanpaul_ai」(@rohanpaul_ai),经 AITOP 多维评分管线结构化提炼。