模型精选11月13日 05:32

Thinkymachines Inkling 2 Small 发布首日即支持 vLLM 推理

官方账号vLLM@vllm_project

推文

精选理由

Thinkymachines 的 Inkling 2 Small 用 594B/17B 激活的 MoE 架构，塞进一台 GB200 就能跑，TP4 下单用户能到 630 tok/s。vLLM 当天就适配，想自托管长上下文多模态模型的团队可以直接上手试试。

Thinkymachines 推出 Inkling 2 Small，vLLM 从发布第一天即完成适配。该模型为 MoE 架构，总参数 594B、每 token 激活 17B，支持文本与图像输入，上下文窗口最长 1M token。

正文

技术细节方面，模型内置原生 DSpark speculator 用于推测解码加速，专家权重采用 NVFP4/MXFP8 低精度量化，单台 GB200 或 GB300 节点即可完整部署。在 TP4 配置下，实测单用户推理速度最高可达 630 tok/s。

vLLM 的 day 0 支持意味着开发者无需等待社区适配即可用主流推理框架跑通该模型；专家级低精度量化加稀疏激活设计，把 594B 级模型压进单节点，降低了自托管门槛，对需要长上下文与多模态输入的私有化部署场景较为实用。

原文 · vLLM

@thinkymachines Inkling 2 Small runs on vLLM from day 0 🚀

594B total / 17B active MoE, text + image in, up to 1M context, with a native DSpark speculator. Experts are NVFP4/MXFP8, so it fits on one GB200/GB300 node.

Up to 630 tok/s per user at TP4.

https://t.co/ptgGjbRNsk https://t.co/xYGsFjbqs5

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Inkling 2 Small、vLLM、MoE、多模态，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明：本文原始线索采编自「vLLM」（@vllm_project），经 AITOP 多维评分管线结构化提炼。