vLLM Semantic Router 推出 Decision 2.0，单次前向回答多问题
vLLM 的 Semantic Router 出了 Decision 2.0，一次前向就能同时答多个问题还带各选项概率，做路由和分类的可以看看。
#Semantic Router
共 2 条 · 7 天 2 条 · 30 天 2 条
信息流里打上「Semantic Router」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月9日
10月4日
vLLM Semantic Router 发布 Decision 2.0
vLLM 的语义路由更新了，0.6B 到 27B 的开源模型一次前向就能判断 64 个请求属性，Apache-2.0 直接可用。