Thinking Machines Lab 开源 Inkling 2 Small：594B 参数 4-bit 前向训练模型
Thinking Machines 兑现了开源承诺，594B 参数的 Inkling 2 Small 直接上了 HuggingFace，Apache 20 许可可商用。4-bit 前向训练省了 8% 预训练和 20% RL 时间，只掉约 2% 效率，想研究低精度训练的团队值得拉下来跑跑。
#量化训练
共 4 条 · 7 天 2 条 · 30 天 2 条
信息流里打上「量化训练」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月14日
Thinking Machines 公布 Inkling 2 Small 全程原生 4-bit 训练细节
Thinking Machines 把 Inkling 2 Small 从预训练到 RL rollout 全程用原生 4-bit 前向跑完，速度更快但量化误差会伤学习，这篇博客讲了他们怎么解决。做训练或想省算力成本的工程师值得看看细节。
9月3日
UE5M3 FP4块缩放实现稳定语言模型预训练
NVIDIA提出新方法让FP4预训练更稳定，训练速度提升21.2%，模型性能全面超越现有方案。
5月27日
MobileMoE：面向设备端部署的MoE语言模型，0.3B-0.9B活跃参数
MobileMoE解决了移动端大模型部署的算力与内存瓶颈，做端侧AI应用或手机端推理的开发者可以直接参考其架构和训练方案，实测性能提升显著。