量化训练相关 AI 资讯 · AITOP · AI热报

9月3日

11:51

11:51

官方账号arXiv cs.LG@Robert Hu, Carlo Luschi, Paul Balanca

精选73°

研究人员提出了一种新的UE5M3 FP4块缩放方法，用于稳定4位浮点预训练。该方法通过将E2M1负载与无符号E5M3块缩放配对，在Nemotron-H 8B模型上预训练了近1900亿个token。与Transformer Engine v方法相比，新方法实现了更低的最终窗口训练损失和验证损失，量化推理下游点估计在所有三个报告聚合上表现更好。

论文 Nemotron-H FP4 UE5M3

推荐理由：NVIDIA提出新方法让FP4预训练更稳定，训练速度提升21.2%，模型性能全面超越现有方案。

5月27日

10:30

10:30

官方账号arXiv cs.AI@Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

精选76°

MobileMoE 是一系列专为移动设备设计的混合专家（MoE）语言模型，活跃参数在0.3B到0.9B之间，总参数1.3B到5.3B。研究团队首次提出了面向设备端的MoE缩放定律，在内存和计算约束下优化架构，找到了中等稀疏度与细粒度共享专家的最佳平衡点。模型采用四阶段训练流程（预训练、中训练、指令微调、量化感知训练），全部基于开源数据集。在14个基准测试中，MobileMoE以2-4倍更少的推理FLOPs匹配或超越领先的密集模型，并以最多60%更少的参数超越SOTA MoE模型OLMoE-1B-7B。在商用智能手机上，MobileMoE-S在INT4权重内存下比密集基线MobileLLM-Pro实现1.8-3.8倍更快的预填充和2.2-3.4倍更快的解码。

论文 MoE 移动端部署缩放定律

推荐理由：MobileMoE解决了移动端大模型部署的算力与内存瓶颈，做端侧AI应用或手机端推理的开发者可以直接参考其架构和训练方案，实测性能提升显著。