Thinking Machines Lab 推出 4 位全流程训练方案 BBBK，预训练提速 8%

Thinking Machines Lab 在英伟达 GB300 平台上开发了名为 BBBK 的底层加速程序，实现端到端 4 位训练，并用在 Inkling 2 Small 模型的全流程训练中。原本需要数周的同体量预训练，在 GB300 机柜上只用了 68 小时完成。 技术机制上，BBBK 采取分工策略：前向推理使用 4 位数字格式 NVFP4 提速计算，反向参数更新切回 8 位格式 MXFP8 控制精度损失，数据传输时进行旋转压缩与随机舍入修正，并省去了传统低精度训练后单独做校准的步骤。 与全程 8 位格式训练相比，该方案在预训练阶段节省 8% 时间，强化学习阶段提速 20%，运算管道和传输带宽同时跑满不互相等待，而模型最终回答准确率几乎不受影响，直接降低了训练的算力成本。