Thinking Machines Lab 开源 Inkling 2 Small：594B 参数 4-bit 前向训练模型
Thinking Machines 兑现了开源承诺，594B 参数的 Inkling 2 Small 直接上了 HuggingFace，Apache 20 许可可商用。4-bit 前向训练省了 8% 预训练和 20% RL 时间，只掉约 2% 效率，想研究低精度训练的团队值得拉下来跑跑。
Thinking Machines Lab 兑现承诺，开源了 Inkling 2 Small，一个 594B 参数模型，训练时使用 4-bit 前向传播，已在 HuggingFace 上以 Apache 2.0 许可证提供下载。
4-bit 训练使预训练时间缩短 8%，RL 时间缩短 20%，效率损失约 2%。部署门槛不低：NVFP4 格式至少需要 500GB GPU 显存，MXFP8 则需要至少 800GB，而 MXFP8 在评测上仅比 NVFP4 高出 1-2 个百分点的边际收益。
技术上的关键是从预训练到最终 RL rollout 全程保持相同数值精度，因此发布的 4-bit checkpoint 无需单独的校准步骤。团队最初尝试前向和反向传播都用 NVFP4，但计算效率损失过大，最终只保留前向传播为 4-bit。
Thinking Machines Lab kept its promise and open-sourced Inkling 2 Small, a 594B-parameter model trained with 4-bit forward passes. > now available for download on HuggingFace under an Apache 2.0 licens > Training in 4-bit cut pretraining time 8% and RL time 20%, for about 2% efficiency loss.
> Running it takes at least 500GB of GPU memory in NVFP4 and at least 800GB in MXFP8, and MXFP8 gains “a very marginal 1–2 percentage points” over NVFP4 on evals.
> Because training kept the same numerics from pretraining through the final RL rollout, the released 4-bit checkpoint needed no separate calibration step.
> The lab first tried NVFP4 in both forward and backward passes, but that hurt compute efficiency too much, so only the forward pass stays in 4-bit.
本条情报归属 AITOP「模型」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Thinking Machines Lab、Inkling 2 Small、开源模型、量化训练，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「rohanpaul_ai」（@rohanpaul_ai），经 AITOP 多维评分管线结构化提炼。
