#GRPO

把现成开源代码库自动变成智能体 RL 练习题，MiMo-V2.5 训完 ProgramBench 涨了 17%。

研究人员提出ThinkPrior方法，通过离线锚点构建难度先验，解决了RLVR训练中的冷启动问题，显著减少了无效轮次。

这论文提了两个新招PVF和TETHER，给LLM强化学习用的，比标准价值函数强，和GRPO差不多甚至更好，搞RL的可以看看。

想提升LLM强化学习效果？3PO用参数采样替代温度调节，在OLMo和Qwen上比GRPO更稳更好，成本还一样。

想提升数学推理模型？SKALD 把技能蒸馏进权重，比 GRPO 最高涨 12 分，还不用改推理时的输入。

CreativeInstruct用特殊标记让模型在保持质量的同时更会编故事，人类测评七成认为更有创造力，还能给强化学习带来几个点的提升。

这个新框架TRIAL能让智能体强化学习更高效，在多个任务上超过GRPO，成功率提升近19个百分点，搞RL的可以看看。

Video-DR 让 AI 边看视频边上网核实信息，35B 参数干翻 Claude-4.5-Sonnet，还开源了，值得试试。

GRPO以前只看整体得分，现在MCR-GRPO能逐个框算功劳，定位和分割都更准了。

MedUPS 用强化学习教模型在罕见病例中预测下一步决策，三个开源模型准确率都提升了，数据集和代码已开源。

MemHarness 让智能体把旧经验改写到当前场景再用，在 ALFWorld 和 WebShop 上比静态记忆基线强不少。

HARGO给HPC任务的RL后训练提了个新思路，不用标签就能按难度加权，四个任务上全面超过GRPO。

京东数据验证的一种新方法，用LLM和GRPO自动选库存分配公式，准确率翻倍，搞供应链优化的可以关注。

一篇教你用强化学习优化代码执行速度的论文，针对测量噪声和奖励稀疏问题设计了DMC-Optim基准和三阶段方法，让Qwen 2.5 7B的pass@1从18%提到31%，CWM 32B提到50%。

这篇论文把 GRPO 和 Dr. GRPO 的底裤都扒了——原来两者各占一个极端，没法同时做到无偏和长度无关，搞推理模型训练的人得看看这个权衡。

这篇用一个可控环境拆解了AI长程规划的训练机制，发现次优数据会拖累性能，多教师蒸馏能整合不同能力，值得做训练方法的人细读。

模型一遇到难题就原地踏步？这篇论文给出了一个简单又有效的解法：给模型一点'提示'，效果直接涨3.9%，成本几乎为零。

这篇论文用OR替换PPO和GRPO的裁剪目标，在Llama-3.2上奖励得分有提升，适合想了解强化学习微调新思路的同学

这篇论文用KL散度做密集奖励，还加了长度控制，空间推理上比GRPO更准更短，值得搞强化学习的人看看。

这篇论文把拟人对话的生成、评测和奖励对齐做成闭环，Qwen3.6-27B微调后严格准确率39%，比基线高一大截。

这篇论文给VLM配了三种看图工具（表格、图表、放大），再用GRPO训练工具使用策略，比普通prompt和RL方法更准，适合处理科学图表验证。

LongStraw 能让你在固定 GPU 预算下做百万 token 级别的强化学习后训练，比现有 256K 的方法多处理 8 倍上下文，而且内存增长极低。

想高效训练智能体模型？SAO用单轨迹采样打补丁，稳定训练1000步，在编码和推理基准上全面超越GRPO，干货论文。

这篇论文给出了一个实用技巧：用蒸馏扩展支持域再强化学习，在数学和代理任务上都涨点明显，而且不需要改动模型结构。