Thinking Machines Lab 推出 4 位全流程训练方案 BBBK，预训练提速 8%
Mira Murati 的 Thinking Machines Lab 把训练全流程压到 4 位精度，68 小时跑完预训练，RL 阶段还快 20%。做训练或算长预算的团队可以看它的混合精度拆解思路，跟全 8 位方案比成本低一截。
Thinking Machines Lab 在英伟达 GB300 平台上开发了名为 BBBK 的底层加速程序，实现端到端 4 位训练，并用在 Inkling 2 Small 模型的全流程训练中。原本需要数周的同体量预训练，在 GB300 机柜上只用了 68 小时完成。
技术机制上，BBBK 采取分工策略：前向推理使用 4 位数字格式 NVFP4 提速计算，反向参数更新切回 8 位格式 MXFP8 控制精度损失，数据传输时进行旋转压缩与随机舍入修正，并省去了传统低精度训练后单独做校准的步骤。
与全程 8 位格式训练相比，该方案在预训练阶段节省 8% 时间，强化学习阶段提速 20%，运算管道和传输带宽同时跑满不互相等待，而模型最终回答准确率几乎不受影响，直接降低了训练的算力成本。
End-to-End 4-Bit Training：让大模型用更粗糙的数字格式完成全流程训练，大幅缩短显卡训练时间
训练大模型需要处理海量数据，直接把数字精度压到4位虽然能加快计算，但四舍五入累积的误差会严重拖垮模型的学习效果。
为了解决这个矛盾，Thinking Machines Lab在英伟达GB300显卡平台上开发了名为BBBK的专用底层加速程序。采取了分工策略，在模型向前推理计算时使用高速度的4位数字格式NVFP4，在向后更新参数时切回较精细的8位格式MXFP8，并在传输数据时顺手进行旋转压缩与随机舍入修正，省去了传统训练完成后还要单独做低精度校准的麻烦步骤。
这套方案应用在Inkling 2 Small模型的全流程训练中，显卡的运算管道和传输带宽同时跑满，没有出现互相等待的卡顿。原本需要好几周才能跑完的同体量模型，现在在GB300机柜上只用了68小时就完成了预训练。对比全程使用8位格式训练，新方案在预训练阶段节省了8%的时间，在强化学习阶段直接提速了20%，省下了大量算力开销，同时模型最终的回答准确率几乎没有受到影响。
链接：https://t.co/PdrC5Gp5RJ
本条情报归属 AITOP「模型」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：BBBK、NVFP4、Thinking Machines Lab、GB300，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「Gorden Sun」（@Gorden_Sun），经 AITOP 多维评分管线结构化提炼。截至目前，全网已有 10 家独立信源对该事件进行交叉印证与跟进报道（含 vLLM、Mira Murati (TML)、rohanpaul_ai 等），属于近期高关注度行业信号。
