Thinkymachines Inkling 2 Small 发布首日即支持 vLLM 推理

Thinkymachines 推出 Inkling 2 Small，vLLM 从发布第一天即完成适配。该模型为 MoE 架构，总参数 594B、每 token 激活 17B，支持文本与图像输入，上下文窗口最长 1M token。 技术细节方面，模型内置原生 DSpark speculator 用于推测解码加速，专家权重采用 NVFP4/MXFP8 低精度量化，单台 GB200 或 GB300 节点即可完整部署。在 TP4 配置下，实测单用户推理速度最高可达 630 tok/s。 vLLM 的 day 0 支持意味着开发者无需等待社区适配即可用主流推理框架跑通该模型；专家级低精度量化加稀疏激活设计，把 594B 级模型压进单节点，降低了自托管门槛，对需要长上下文与多模态输入的私有化部署场景较为实用。