主要来源vLLM
查看原文事件专题 ·多源确认
vLLM 上线对 Thinking Machines Inkling 模型的 Day-0 支持
vLLM 宣布对 Thinking Machines 的循环架构模型 Inkling 提供 Day-0 推理支持,用户在新模型发布当天即可用 vLLM 直接部署推理。Inkling 的核心设计是 12 个共享核心层,在单次前向传播中循环执行 3 次。 与传统 Transformer 一次前向输出结果不同,Inkling 在每次循环之间通过门控机制(gated messages)把上一轮的信息传递到下一轮,让模型在相同参数量下进行多步计算。这种 recurrent depth 思路被视为用“循环复用”替代“堆叠更深层”的另一种扩展路径。 推理框架的 Day-0 适配正在成为新架构模型的标配竞争点,vLLM 此前也为多款新模型提供过发布日支持。对部署方而言,循环架构能否在 vLLM 的 KV cache 和批处理调度下跑出实际吞吐优势,需要后续实测数据验证。
当前结论
Thinking Machines 新发的循环架构模型 Inkling,vLLM 发布当天就能跑。12 层核心循环 3 次,靠门控消息在轮次间传信息,思路和堆深度的主流模型不一样。想在生产环境试新架构的部署工程师可以直接上手了。
10 个信源58° AI 热度最后更新 2026/11/20 20:14:24
证据链
10 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。