#策略梯度

做 RL 后训练的朋友可以看看，讲清楚了 GRPO 那套 group-mean baseline 什么时候够用、什么时候会引入偏差。

优化策略梯度的人可以看看：新算法 Defensive Policy Gradient 不再依赖重要性权重方差假设，就能拿到 O(ε⁻³) 采样复杂度，还配了下界证明。

有人把交叉熵重新解读成策略梯度，然后推出一行代码就能替换的 horizon loss，在 ResNet-50 和 ViT-S/16 上实测涨点，做分类训练的可以试试。

一篇扩散模型微调的论文，教你怎么给少步掩码扩散模型做奖励微调，还能少 32 倍去噪步数，做生成方向的可以看看。

这篇论文揭示了离策略微调的收敛特性，证明适当增大S值能避免陷入次优策略，对大语言模型后训练有重要指导意义。

这篇论文给扩散语言模型加了个策略梯度法子，数学推理和编程测试成绩都刷了新高，搞RL训练模型的可以看看。

这篇论文把PPO用到了GFlowNet上，收敛更快、数据效率更高，做离散采样研究的可以看看。

做RL研究或语言模型微调的团队，如果正为多样性-性能权衡头疼，这篇论文给出了一个理论干净的新框架——把奖励不确定性当作多样性来源，不用额外调参。值得细读。

本文从理论层面揭示了策略梯度方法短视性的根源，并提出了具有指数级收敛保证的改进方案。对强化学习从业者而言，这是一项重要的理论突破，有望推动受限策略类在复杂多智能体等场景的实际应用。