论文Agent 与开发者11:32BitSparse：面向 ReLU 稀疏激活的无损压缩格式训练 LLM 显存吃紧的可以看看：BitSparse 靠 ReLU 稀疏性无损压缩激活缓存，NanoGPT 和 Nemotron-H 上实测省三成显存，几乎不拖慢速度。#BitSparse#Triton#激活压缩#Nemotron-HaarXiv cs.LG@Max Zhu 等 4 人原文稍后读已读值得跟进有用关注 BitSparse
论文精选73°11:51UE5M3 FP4块缩放实现稳定语言模型预训练NVIDIA提出新方法让FP4预训练更稳定，训练速度提升21.2%，模型性能全面超越现有方案。#Nemotron-H#FP4#UE5M3#量化训练aarXiv cs.LG@Robert Hu 等 3 人原文稍后读已读值得跟进有用关注 Nemotron-H