#GRPO

Fireworks 刚上线了 Nemotron 3 的 RL 微调，按 GPU 小时计费不怕长对话烧钱，用 GRPO 训练一条龙搞定。

Fireworks AI@FireworksAI_HQ7 个信源在谈原文

做自蒸馏或强化学习的研究者会发现，步骤对齐反馈比传统奖励信号更高效，直接提升模型推理质量，值得在实验中尝试这种上下文设计。

N-GRPO 解决了 GRPO 框架中探索与语义保持的冲突，做强化学习或数学推理优化的研究者可以直接参考其嵌入混合策略。

做AI安全对齐的团队终于有了一个稳定的GRPO攻防协同训练方案，能同时提升攻击发现能力和防御鲁棒性，建议做红队测试的开发者直接参考。

这项研究直接戳中了LLM的“幻觉”痛点——用结构化输出让模型承认无知，做AI安全或可靠性研究的团队值得关注，尤其适合需要高可信度输出的应用场景。

QUBRIC解决了RL在非可验证任务中的核心瓶颈——查询与评分标准不匹配，做RL训练或AI对齐的团队可以直接参考其方法，提升模型在开放推理任务上的表现。

做具身 AI 安全或人机协作的团队，VLESA 提供了一个可落地的实时安全监控方案，能根据上下文判断危险动作，建议直接看论文和代码。

做多模态模型评测的团队终于有了对抗感知偏见的方法——Perceptual Perturbation 框架能直接提升评估者的视觉可靠性，建议做 MLLM 评测基准的开发者点开看看实验细节。

VPO解决了LLM在推理时搜索中缺乏多样性的痛点，做强化学习后训练或推理时搜索的团队值得关注，它直接替换GRPO就能提升搜索效果。

GRPO用户终于有了解决训练停滞的实用工具——AVSPO无需额外推理成本就能提升4-6个点准确率，做大模型RL训练的团队可以直接试。

大模型安全对齐的脆弱性一直是部署痛点，AIR用巧妙的锚定策略解决了“一改措辞就破防”的问题，做安全对齐的团队可以直接集成到现有训练流程中。

空间推理是VLM的硬伤，SAGE用自进化训练解决了这个痛点，做多模态模型训练或空间理解应用的团队可以直接参考方法。

做VLA机器人强化学习的团队终于有了省算力的方案——PCM直接替换GRPO就能省60%内存、快2倍多，效果还不打折，建议做后训练优化的点开看看。

做LLM数学推理RL训练的团队，GRPO的KL系数和采样策略可以照搬这个改进，AIME 2025上13个点的提升值得一试。