产品精选
vLLM Semantic Router 团队推出 System Duo 双层路由架构
精选理由
vLLM 团队开源了 System Duo：简单请求走快速小模型，难的才路由给大模型推理，省钱又提速，自己搭服务的可以看看。
vLLM Semantic Router 团队发布 System Duo，将请求分为两层处理。快速决策模型负责分诊、安全守卫、验证和检查等即时任务，路由器只把需要深度推理的请求转给对应模型。System Duo 完全开源，运行在 vLLM 上。
原文 · vLLM
One router, two minds 🧠⚡
Huge work from @XunzhuoLiu and the vLLM Semantic Router team on System Duo — fast decision models handle the blink-of-an-eye calls (triage, guard, verify, check), while the router sends deep reasoning to the right model only when it matters.
All open source, all running on vLLM → https://t.co/VOL5lg4l15
