vLLM 上线对 Thinking Machines Inkling 模型的 Day-0 支持
Thinking Machines 新发的循环架构模型 Inkling,vLLM 发布当天就能跑。12 层核心循环 3 次,靠门控消息在轮次间传信息,思路和堆深度的主流模型不一样。想在生产环境试新架构的部署工程师可以直接上手了。
vLLM 宣布对 Thinking Machines 的循环架构模型 Inkling 提供 Day-0 推理支持,用户在新模型发布当天即可用 vLLM 直接部署推理。Inkling 的核心设计是 12 个共享核心层,在单次前向传播中循环执行 3 次。
与传统 Transformer 一次前向输出结果不同,Inkling 在每次循环之间通过门控机制(gated messages)把上一轮的信息传递到下一轮,让模型在相同参数量下进行多步计算。这种 recurrent depth 思路被视为用“循环复用”替代“堆叠更深层”的另一种扩展路径。
推理框架的 Day-0 适配正在成为新架构模型的标配竞争点,vLLM 此前也为多款新模型提供过发布日支持。对部署方而言,循环架构能否在 vLLM 的 KV cache 和批处理调度下跑出实际吞吐优势,需要后续实测数据验证。
Stay in the loop with vLLM.
Day-0 vLLM support for @thinkymachines’ new looped Inkling model has landed. 12 shared core layers, 3 passes, and gated messages from one pass to the next.
1/4 https://t.co/n1FzpXC0T9
本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:vLLM、Thinking Machines、Inkling、开源模型,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「vLLM」(@vllm_project),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 10 家独立信源对该事件进行交叉印证与跟进报道(含 kimmonismus、Artificial Analysis、lmarena.ai 等),属于近期高关注度行业信号。