vLLM 第一时间支持 Thinking Machines 的 Inkling-2-Small 模型
Thinking Machines 发了个 500B 的多模态 MoE，vLLM 发布当天就能跑，还带了 FP4 量化和投机解码优化。想自部署大模型的人可以看看集成细节，不用等闭源 API。
vLLM 宣布 Day-0 支持 Thinking Machines Lab 的新模型 Inkling-2-Small。这是一个 500B 参数的 MoE 模型，支持文本和图像输入、文本输出，可以在同一次对话中传入图像并提出问题，由模型结合视觉上下文生成文本回答。
技术实现上有几个关键点：模型采用全新的 ViT 图像编码器，MoE 层混合使用 NVFP4 和 MXFP8 两种低精度格式，并引入 DSpark 投机解码来加速生成。集成工作由 Inferact 主导，团队与 Thinking Machines Lab 协作处理了模型代码和 checkpoint，覆盖 MoE 与 attention 内核、视觉编码器、图像预处理，以及投机解码所需的 draft-model GEMM。
Thinking Machines Lab 由前 OpenAI CTO Mira Murati 创立，此次选择 vLLM 作为开源推理栈的首发支持对象，意味着开发者可以在模型发布当天直接用开源工具链部署这个 500B 多模态 MoE，而不用等待闭源推理服务。
🎉 Day-0 support for @thinkymachines’ Inkling-2-Small in vLLM!
A 500B MoE with text + image inputs and text output. Bring the image into the conversation: ask a question with visual context, and get a text response from the same model.
Under the hood: a new ViT image encoder, mixed NVFP4/MXFP8 MoE layers, and DSpark speculative decoding.
@inferact leads the vLLM integration and optimization, working with Thinking Machines Lab on model code and checkpoints. The work spans MoE and attention kernels, the vision encoder and image preprocessing, plus draft-model GEMMs for speculative decoding.
Thanks to the TML, Inferact and vLLM teams bringing the model to an open inference stack!
本条情报归属 AITOP「模型」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Inkling-2-Small、vLLM、Thinking Machines Lab、MoE，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「vLLM」（@vllm_project），经 AITOP 多维评分管线结构化提炼。截至目前，全网已有 11 家独立信源对该事件进行交叉印证与跟进报道（含 Together AI、Thinking Machines Lab、pandaily 等），属于近期高关注度行业信号。
