#REINFORCE

优化策略梯度的人可以看看：新算法 Defensive Policy Gradient 不再依赖重要性权重方差假设，就能拿到 O(ε⁻³) 采样复杂度，还配了下界证明。

这篇论文揭示了离策略微调的收敛特性，证明适当增大S值能避免陷入次优策略，对大语言模型后训练有重要指导意义。