产品精选
vLLM Semantic Router 联合 KR Labs 与 AMD 推出 Vela 3.0
精选理由
vLLM 的语义路由器更新到 3.0 了，一次调用就能做完路由和 span 提取，还能选 0.3B 到 27B 的开源小模型跑，部署灵活多了。
vLLM Semantic Router 与 KR Labs、AMD 合作发布 Vela 3.0。新版本把路由决策和 span 提取合并到一次调用中完成。路由器可选 6 个开源模型，参数规模从 0.3B 到 27B。可检测的内容种类更多，部署体积也更小。
原文 · vLLM
Great work from the vLLM Semantic Router, KR Labs, and @AMD teams on Vela 3.0! Routing decisions and span extraction in one call, with six open models from 0.3B to 27B. More flexibility in what the router can detect and how small it can run.
