Thinking Machines 公布 Inkling 2 Small 全程原生 4-bit 训练细节

Thinking Machines 在其 Connectionism 博客中详细介绍了 Inkling 2 Small 的训练方法：从预训练第一步到最后 RL rollout，整个前向传播都使用原生 4-bit 精度完成。低比特训练的收益是速度更快，但量化误差会干扰学习过程，这也是大多数训练流程仍采用更高精度的原因。 文章的核心在于说明如何让量化误差与学习兼容：Inkling 2 Small 不是训练后再做后量化，而是从第一个 pretraining step 开始就让模型在 4-bit 数值环境下学习，包括最后的 RL rollout 阶段也保持同样精度，使参数更新适应低比特前向计算引入的误差。 低比特原生训练直接影响训练成本：前向传播占用显存与带宽更少，速度更高。如果该方法能在更多模型规模上复现，对开源社区和预算有限的团队意味着用同样硬件可以跑更多训练步数，与依赖后量化或高精度训练的主流路线形成区别。