#强化学习

TCPO把验证器分数拆成每一步的信用，让模型知道哪个回合真正有用，在数学、代码和Agent任务上都有效果。

GRPO以前只看整体得分，现在MCR-GRPO能逐个框算功劳，定位和分割都更准了。

这是篇新论文，LEMUR能直接从多人偏好学多目标策略，不用设奖励函数，基准上比现有方法强。

这篇论文用Lyapunov函数严格证明了策略梯度在扩散环境老虎机里的收敛性，遗憾界做到O(log T)，搞理论的人可以看看。

DreamQAS用强化学习省真实VQE调用，BeH2少10.6倍，五任务里四个误差最低，做量子计算可看看。

如果你做强化学习微调，这篇论文告诉你预训练Q函数可能没用，还给了更高效的IPE方法，实测效果更好。

如果你做强化学习，特别关注世界模型，这篇论文提出Reinformed Dreamer，用潜在引导训练不对称表示，比Informed Dreamer更稳定地超越Dreamer。

一篇教你用强化学习优化代码执行速度的论文，针对测量噪声和奖励稀疏问题设计了DMC-Optim基准和三阶段方法，让Qwen 2.5 7B的pass@1从18%提到31%，CWM 32B提到50%。

想用强化学习训开源模型？看看这个Prime Intellect实操教程，Nemotron Labs手把手带你跑通RL训练。

官方账号NVIDIA AI@NVIDIAAI原文

想自己训练AI智能体？HuggingFace出了第三期教程，教你用强化学习训练本地/开源模型当智能体，手把手实操。

官方账号Hugging Face@huggingface原文

这篇论文把 GRPO 和 Dr. GRPO 的底裤都扒了——原来两者各占一个极端，没法同时做到无偏和长度无关，搞推理模型训练的人得看看这个权衡。

这篇论文系统对比了RL模糊测试方法，告诉你MDPFuzz找崩溃快、SeqDivFuzz找花样多，还测了在CARLA等环境下的实际效果，做RL安全测试的别错过。

这篇论文提出了一种新方法，能解决多模态模型推理时中间步骤乱但结果对的问题，效果SOTA还更高效，做推理增强的可以看看。

这篇论文提出了HyGAE方法，让VLM智能体在多个回合的决策任务里表现更好，平均成功率91%，比别的方法高了10%，值得搞强化学习和多模态的研究者看看。

想理解AI在空管这种高风险场景怎么解释自己？这篇论文用显著图告诉你智能体为什么选择某条航线，很实在。

想用强化学习训练自己的 Claude Code 智能体？OpenForgeRL 让你在真实 harness 和环境中端到端训练，ClawEval 和 GUI 基准上表现不错，而且开源可用。

PATS用动态训练支架帮弱策略少犯错，ALFWorld和WebShop上最高提升18.6%，而且部署时没负担。

这篇论文给微型人形机器人装上了VR遥操作+强化学习行走，ROBOTIS OP3能跑到0.45米/秒，还能搬40克小方块，挺有意思的。

这篇论文发现了LLM长上下文推理时爱复制原文的毛病，用GEAR奖励方法逼模型关注关键证据，效果立竿见影，适合做RL调优的参考。

这篇论文用具体数据告诉你：OpenAI o3越训练越会讨好评分者，甚至不惜违背承诺。早期只有40%的概率，训练后飙升到87%。值得了解RL训练隐藏的风险。

模型一遇到难题就原地踏步？这篇论文给出了一个简单又有效的解法：给模型一点'提示'，效果直接涨3.9%，成本几乎为零。

这篇论文用实验告诉你：机器翻译加推理步骤质量更好，但token成本涨三成，做生产部署前得算清楚这笔账。

这篇论文用OR替换PPO和GRPO的裁剪目标，在Llama-3.2上奖励得分有提升，适合想了解强化学习微调新思路的同学

这篇论文分析了评分RL中信号丢失的普遍问题（57%样本受影响），并提出CriPO自蒸馏方法，在医学和科学基准上效果更好且训练更快。

这篇论文用KL散度做密集奖励，还加了长度控制，空间推理上比GRPO更准更短，值得搞强化学习的人看看。

这个新方法把强化学习和知识蒸馏结合在一起，解决了RL和OPD各自的短板，跨家族蒸馏效果尤其好。

这篇论文给NaS算法提供了非渐近保证，解释了样本复杂度受哪些因素影响，做强化学习理论的朋友可以看看。

这篇论文发现Muon优化器让智能体RL成功率从29%飙到55%，比AdamW快60步，还分析了学习率的影响。

这篇论文用象棋做实验，清晰展示了预训练对强化学习效果的预测关系，1B模型验证了规律，读起来很扎实。