NVIDIA 推出 LoGRA：显存占用低于 LoRA 的后训练 RL 方法

NVIDIA 发布 LoGRA 论文，一种面向 LLM 后训练 RL 的省显存技术。在 1.5B 模型上，LoGRA 平均训练显存 7.2 GiB，低于 rank-256 LoRA 的 13.2 GiB，Pass @4 两者接近（81.8% 对 81.4%）。其原理是用每步重绘的 rank-256 随机投影压缩权重梯度，不构建完整梯度，并用 KL 预算约束策略更新幅度。在 7B 模型上，每 GPU 平均训练显存下降 45.7%（31.8 降至 17.3 GiB），Pass @1 精度 72.3% 接近 dense Adam 的 72.5%。该方法还可在单个八 GPU 节点上对 27B 模型训练超过 1,100 步，而 dense Adam 在此配置下会显存不足。