Decision 模型比 LLM 结构化输出更快,LFM3 与 d1 对比基准
做分类或路由这类要输出 JSON 的任务可以看看这篇基准:Liquid AI 的 d1 一次 forward pass 就出结果,比 LLM 走 prefill 加 decode 快好几倍。文章还附了 LFM3 对比测试细节,做服务端优化的开发者用得上。
Liquid AI 的 d1 decision 模型在结构化输出场景中比对应 LLM 快出数倍(multipliers)。原因是 LLM 生成 JSON 时需要 prefill 加 decode 两阶段,而 decision 模型只需一次 forward pass。作者在 Llama 上对 LFM3 与 d1 做了排除 warmup 的基准测试,结果发布在 X 上。
这一差异对需要固定分类、路由或判断输出的开发者有直接意义:如果输出是预定义类别而非自由文本,单次前向传播可以省掉自回归解码的开销。对生产环境中高频调用的结构化任务,延迟差距会随倍数级放大。
decision models are faster than their LLM equivalents in multipliers
because for LLM you do prefill + decode for the JSON structured output, whereas with decision models it only does a forward pass
benchmarked LFM3 against d1 @liquidai (excluding warmup) on Llama https://t.co/4PBou8e0Y5
本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:LFM3、Liquid AI、d1、LLM,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Merve Noyan」(@mervenoyann),经 AITOP 多维评分管线结构化提炼。