一篇把判别式决策模型搬到卫星通信上的论文,单次前向 90 毫秒出决策,准确率还比生成式基线高出一大截,做边缘部署的可以看看。
#Jev
做 RAG 的朋友看看这篇:Jev 成本只有 GPT-6 Astra 的 1/187,准确率几乎持平,但它漏放无依据主张的比例高不少,选型时得盯这个指标。
蒸馏来的概率继承老师的偏差,加再多数据也去不掉,这篇用精确计算证明了这点,还拿 CFPB 23 万条投诉数据做了实测。
Typesafe 的 Jev 从黑客松亮相到日处理万亿 token 只用了五周,财富 500 强里四分之一在用,增长曲线很夸张。
一个挺有意思的行业观察:TypeSafe AI 想推 System One Models 这个词,结果没人用,大家把 Jev 叫 decision model。
教你怎么给 agent 省钱:拿 Jev 蒸馏个 4B 小模型接进 harness,最省能砍掉 89% 成本还几乎不掉成功率。
教你怎么把 4B 小模型塞进 agent 框架里替 LLM 做常规决策,成本砍掉八成还更快,做 agent 的都该看看。
TypeSafe 的 Jev 只做受限决策输出,结果四周内 Cloudflare、OpenAI 等 20 家跟进出了同类产品,这篇文章把替代品都列了出来,选型时能省不少事。
北大和 Samsung 做了个 RealtimeBench,测试里 GPT-6.1-sol 思考太久反而输给快模型 Jev,再用 TORSI 让慢模型离线写指令带快模型,得分翻到 24.19。
语义缓存老把相似问题答错,这篇用便宜的 Jev 在缓存前拦一道,1152 个例子零错用,延迟只多 0.79 秒,省钱思路很实用。
TypeSafe AI 的 Jev 1.14 上线了图像输入和边界框类型,上下文可选开到 262k,价格也便宜,做视觉任务的可以试试。
OpenRouter 上架了 Jev 1.14,输出免费输入才 $0.042/M,还加了看图能力和多语言改进,性价比党可以试试。
决策模型这个新品类有了第一份横评,Jev 拿第一但被 Claude Haiku 压三分,代价和速度差了 11 倍,做分类和工具路由的可以看看选型数据。
Milvus 用三个真实搜索工作流实测 Jev 替代 LLM 调用,延迟降 4 倍、成本降 7.5 倍,还给出了哪些场景该换哪些不该换的结论。
DeepEval 把 LLM 评估裁判从生成文本换成了 Jev 返回概率,分数可解释还稳定,做 Agent 评估的可以看看。
LangChain 创始人转发的省钱架构:Jev 这个小模型专门接智能体里的是/否判断,Claude 只干重活,一万次决策才几毛钱。
一家 20 人团队做的决策模型 Jev,上线几天就有 100 万用户,三分之一的财富 500 强在用,a16z 领投 8.7 亿美元,还已经盈利了。
TypeSafe AI 上线三周就拿下财富 500 近三成客户,融资来自 a16z。这期视频里创始人聊了 Jev 这名字的由来,还有廉价算力会怎么改写软件开发。
有意思的尝试:Jev 不生成文本、一次前向就出答案,论文让它当参考策略、探索裁判和回放评分器,MiniGrid 和 Atari 上都跑赢了标准 RL 学习器。
有公司发布了只返回概率数字的 Jev 模型,有人拿它做了语义查找和网页打分插件,Simon Willison 却说这是黑箱倒退,两边观点都看看。
这篇论文拿 Jev 和开源语言模型在 128 个真实故障日上跑九项压力测试,告诉你哪类 HVAC 故障能自动诊断、哪类还得靠人,做楼宇运维的可以看看。
Simon Willison 用 GPT-6 Astra 写了个插件,把 OpenAI 新的 Decisions API 接进 llm 命令行,还能对图片做 yes/no 判断,比 Jev 贵但支持图像。
不生成文本、只做分类决策的 Jev 三周就跑到日处理 1 万亿 token,OpenAI 和 Cloudflare 都出了同路线产品,挺值得了解的新方向。