Thinking Machines Lab 开源 Inkling 2 Small：594B 参数 4-bit 前向训练模型

Thinking Machines Lab 兑现承诺，开源了 Inkling 2 Small，一个 594B 参数模型，训练时使用 4-bit 前向传播，已在 HuggingFace 上以 Apache 2.0 许可证提供下载。 4-bit 训练使预训练时间缩短 8%，RL 时间缩短 20%，效率损失约 2%。部署门槛不低：NVFP4 格式至少需要 500GB GPU 显存，MXFP8 则需要至少 800GB，而 MXFP8 在评测上仅比 NVFP4 高出 1-2 个百分点的边际收益。 技术上的关键是从预训练到最终 RL rollout 全程保持相同数值精度，因此发布的 4-bit checkpoint 无需单独的校准步骤。团队最初尝试前向和反向传播都用 NVFP4，但计算效率损失过大，最终只保留前向传播为 4-bit。