模型精选

Mira Murati 公开 Inkling 2 Small 训练细节:原生 4-bit 前向传播

精选理由

Mira Murati 的 Thinking Machines Lab 拆解了 Inkling 2 Small 怎么把预训练压到 68 小时,全程 4-bit 前向跑在 GB300 上。做低成本训练的工程师应该看看这篇,思路和 DeepSeek 的省算力路线可以对照着读。

Thinking Machines Lab 创始人 Mira Murati 在 X 上发布博客,介绍 Inkling 2 Small 模型采用原生 4-bit 前向传播的训练方法,从第一步预训练到最后 RL rollout 全程运行在 NVIDIA GB300 上。

正文

文中称这项改进使预训练时间从数周缩短到 68 小时,且这是整个技术栈中多项优化之一。原生低比特训练区别于常见的训练后量化,意味着前向传播本身就在 4-bit 精度下进行,可显著降低显存和算力开销。

这类工程优化路线与 DeepSeek、Moonshot 等中国团队强调的低成本训练思路相似,对预算有限的中小实验室有直接参考价值。

原文 · Mira Murati (TML)

Today on Connectionism: how we trained Inkling 2 Small with a native 4-bit forward pass on @nvidia GB300s, from the first pretraining step through the final RL rollout, one of the many improvements across the stack that took pretraining from weeks to 68 hours.

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Inkling 2 Small、Thinking Machines Lab、NVIDIA GB300、4-bit 训练,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Mira Murati (TML)」(@miramurati),经 AITOP 多维评分管线结构化提炼。