Mira Murati 公开 Inkling 2 Small 训练细节:原生 4-bit 前向传播
Mira Murati 的 Thinking Machines Lab 拆解了 Inkling 2 Small 怎么把预训练压到 68 小时,全程 4-bit 前向跑在 GB300 上。做低成本训练的工程师应该看看这篇,思路和 DeepSeek 的省算力路线可以对照着读。
Thinking Machines Lab 创始人 Mira Murati 在 X 上发布博客,介绍 Inkling 2 Small 模型采用原生 4-bit 前向传播的训练方法,从第一步预训练到最后 RL rollout 全程运行在 NVIDIA GB300 上。
文中称这项改进使预训练时间从数周缩短到 68 小时,且这是整个技术栈中多项优化之一。原生低比特训练区别于常见的训练后量化,意味着前向传播本身就在 4-bit 精度下进行,可显著降低显存和算力开销。
这类工程优化路线与 DeepSeek、Moonshot 等中国团队强调的低成本训练思路相似,对预算有限的中小实验室有直接参考价值。
Today on Connectionism: how we trained Inkling 2 Small with a native 4-bit forward pass on @nvidia GB300s, from the first pretraining step through the final RL rollout, one of the many improvements across the stack that took pretraining from weeks to 68 hours.
本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Inkling 2 Small、Thinking Machines Lab、NVIDIA GB300、4-bit 训练,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Mira Murati (TML)」(@miramurati),经 AITOP 多维评分管线结构化提炼。