Thinking Machines 公布 Inkling 2 Small 全程原生 4-bit 训练细节
Thinking Machines 把 Inkling 2 Small 从预训练到 RL rollout 全程用原生 4-bit 前向跑完，速度更快但量化误差会伤学习，这篇博客讲了他们怎么解决。做训练或想省算力成本的工程师值得看看细节。
Thinking Machines 在其 Connectionism 博客中详细介绍了 Inkling 2 Small 的训练方法：从预训练第一步到最后 RL rollout，整个前向传播都使用原生 4-bit 精度完成。低比特训练的收益是速度更快，但量化误差会干扰学习过程，这也是大多数训练流程仍采用更高精度的原因。
文章的核心在于说明如何让量化误差与学习兼容：Inkling 2 Small 不是训练后再做后量化，而是从第一个 pretraining step 开始就让模型在 4-bit 数值环境下学习，包括最后的 RL rollout 阶段也保持同样精度，使参数更新适应低比特前向计算引入的误差。
低比特原生训练直接影响训练成本：前向传播占用显存与带宽更少，速度更高。如果该方法能在更多模型规模上复现，对开源社区和预算有限的团队意味着用同样硬件可以跑更多训练步数，与依赖后量化或高精度训练的主流路线形成区别。
Training with fewer bits is faster, but quantization error can interfere with learning.
Today on Connectionism, we detail how we trained Inkling 2 Small with a native 4-bit forward pass from the first step of pretraining through the final RL rollout. https://t.co/CIMECSEpD0
本条情报归属 AITOP「模型」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Inkling 2 Small、Thinking Machines、量化训练、低比特训练，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「Thinking Machines Lab」（@thinkymachines），经 AITOP 多维评分管线结构化提炼。
