vLLM 第一时间支持 Thinking Machines 的 Inkling-2-Small 模型

vLLM 宣布 Day-0 支持 Thinking Machines Lab 的新模型 Inkling-2-Small。这是一个 500B 参数的 MoE 模型，支持文本和图像输入、文本输出，可以在同一次对话中传入图像并提出问题，由模型结合视觉上下文生成文本回答。 技术实现上有几个关键点：模型采用全新的 ViT 图像编码器，MoE 层混合使用 NVFP4 和 MXFP8 两种低精度格式，并引入 DSpark 投机解码来加速生成。集成工作由 Inferact 主导，团队与 Thinking Machines Lab 协作处理了模型代码和 checkpoint，覆盖 MoE 与 attention 内核、视觉编码器、图像预处理，以及投机解码所需的 draft-model GEMM。 Thinking Machines Lab 由前 OpenAI CTO Mira Murati 创立，此次选择 vLLM 作为开源推理栈的首发支持对象，意味着开发者可以在模型发布当天直接用开源工具链部署这个 500B 多模态 MoE，而不用等待闭源推理服务。