PPO 相关 AI 资讯 · AITOP

8月28日

18:04

官方一手arXiv: DeepSeek@Maciej Besta, Leonard Schmidt, Lara Nonino, Robert Gerstenberger, Pierre Pang, Patrik Okanovic, Ales Kubicek, Tiancheng Chen, Baraq Lipshitz, Torsten Hoefler

精选73°

本文系统化分析了RL-for-LLM范式，对PPO、GRPO等主流后训练算法框架进行了计算中心分析。作者提出了推理语言模型(RLMs)的并行策略分类法，涵盖数据、张量、流水线等传统技术以及解耦放置、阶段融合等新型并行技术。研究还分析了现有RLM框架，并构建了可扩展、快速且经济高效的RLM实践指南。

论文 RL-for-LLM PPO GRPO

推荐理由：这篇论文帮你搞懂RL-for-LLM的并行训练策略，让DeepSeek-R1、o3这些推理模型训练不再那么烧钱。

原文

8月18日

10:14

官方账号arXiv cs.LG@Thomas Mbrice, Ammar Ali, Sami Mian, Khai Hern Low, Eric Chen, Arshia Aghajani, Wolf Schäfer, Amin Shirangi

该论文提出伦理决策头（EDH），在CARLA仿真环境中用深度强化学习训练自动驾驶汽车的道德决策。模型通过PPO算法优化，奖励函数来自Bradley-Terry模型，基于200个碰撞临近场景的人工偏好标注。结果显示康德式规则条件训练稳定，但功利主义模型学到的是人类评分者更偏好自我牺牲，而非真正最小化伤亡。论文据此认为RLHF学到的不是哲学家定义的伦理，而是人类实际偏好的行为模式。

论文自动驾驶 RLHF PPO

推荐理由：这篇论文把电车难题做成了奖励函数，用200个碰撞场景让AI学真实偏好，结果还挺反直觉。

原文

8月11日

10:53

官方账号arXiv cs.LG@Logan Luna, Juan Ortiz Couder, Raul Alejandro Vargas-Acosta

研究者提出用近端策略优化（PPO）训练强化学习智能体，实现卫星自主避碰。在1000次确定性GEO场景中，智能体避障成功率达97.5%，远超基于规则基线（20.7%）和脉冲delta-v规划器（27.5%）。训练使用开源高保真天体动力学模拟器，包含日月三体摄动、燃料依赖推力及可配置碎片场。采用课程学习和塑形奖励，兼顾生存、投影距离和delta-v节省。框架已公开，代码见purl.org/sat-trajectory-avoidance。

论文 PPO 强化学习卫星避障

推荐理由：卫星避碰现在靠人工和规则，越来越难。这篇用PPO强化学习，在模拟里成功率97.5%，比传统方法高出一大截，代码还开源了。

原文

7月21日

11:55

官方账号arXiv cs.LG@Chinmay Rane, Kanishka Tyagi, Michael Manry

本文提出Output Reset(OR)作为PPO和GRPO中裁剪替代目标的平滑替代方案，使用OR平方边际损失在token对数比率空间进行优化。在Llama-3.2-1B-Instruct模型上基于Anthropic hh-rlhf数据集测试，PPO-OR在广义优势估计下最终奖励模型得分比PPO-clip平均高0.305，但seed间方差更大。GRPO-OR在组相对优势下平均得分未提升，但方差更小且过冲分数下降。两种组相对方法均比GAE方法产生更大的rollout到当前对数比率位移，OR未能一致减少此位移。报告分数为训练时奖励模型测量值，非独立人类偏好表现。

论文 OR PPO GRPO

事件专题

推荐理由：这篇论文用OR替换PPO和GRPO的裁剪目标，在Llama-3.2上奖励得分有提升，适合想了解强化学习微调新思路的同学

原文

7月14日

09:23

官方账号arXiv cs.LG@Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

PPO通常使用采样标记重要性比率来稳定LLM强化学习的离策略更新，包括邻近准则和方向准则。DPPO改进了邻近准则但方向准则仍继承自PPO，其基于重要性比率的方向可能与散度变化不一致。本文提出预测性分歧掩码，通过闭式解预测策略梯度步骤对同一散度的影响，并针对生产环境中的Top-K词汇开发了两种轻量估计器。实验表明，该方法在多个模型尺度和精度设定下提升了RL训练效果。

论文 LLM PPO DPPO

推荐理由：这篇论文提出了一种更聪明的掩码方法，解决了PPO和DPPO在方向判断上的不一致，让LLM强化学习训练更稳定高效。

原文

7月9日

10:14

官方账号arXiv cs.LG@Eric Zhu, Abhinav Shrivastava, Soumik Mukhopadhyay

本文提出两种互补策略提升扩散模型RLHF的反馈效率。第一种是逐时间步加权方案，重新调整策略优化中去噪步骤的权重，并与PPO的最优收敛性质建立理论联系。第二种是基于优势的回放机制，优先复用信息丰富的轨迹，减少对新奖励查询的依赖。在相同超参数下，该方法将样本效率提升高达6倍，并保持对未见提示的泛化能力。

论文 RLHF 扩散模型样本效率

推荐理由：这篇论文教你怎么用更少的反馈数据训练扩散模型，关键是把去噪步和样本按重要性加权，实验涨了6倍效率。

原文

6月30日

11:20

官方账号arXiv cs.LG@Jan Stenner, Alexander Kilian, Sebastian Peitz, Hermann de Meer

该论文研究了强化学习作为在线控制器，用于风电场内数据中心的高性能计算（HPC）工作负载转移。使用固定日仿真框架结合合成风能和电价信号以及延迟完成反馈进行测试。在单个风轮机和单个数据中心的基准场景中，纯强化学习存在信用分配问题，早期白天未能充分利用免费风能。评估了两种互补措施：基于优化的模仿学习和基于势能的奖励塑造。在200天测试集上，PPO和SAC变体表现出色，但性能仍低于具有全局视野的优化器。

论文强化学习数据中心风电场

推荐理由：这篇论文用强化学习让风电场数据中心更省电，在单机场景下比较了PPO和SAC的效果，还试了模仿学习和奖励塑造。

原文

6月18日

10:03

官方账号arXiv cs.LG@Hugo O. Garcés, Alejandro J. Rojas, Bernardo A. Hernández, Andrés Escalona, Jonathan M. Palma, Md. Rezwan Parvez, Bhushan Gopaluni, Sirish L. Shah

该论文在非线性系统上比较了无模型控制器在虚假数据注入和拒绝服务攻击下的性能，分析了四种RL奖励类型（Lyapunov、指数、渐进、线性）的准确率、成本和弹性。结果显示Lyapunov奖励以低跟踪误差实现了最佳弹性，指数模式在中等训练条件下提供良好折衷，渐进和线性奖励收敛更快但鲁棒性较差。RL-MPC模型表现出强稳态弹性但需更长训练时间，RL-PID控制器训练时间显著缩短。PPO相比DDPG显著降低了KPI方差。

论文 PPO DDPG Lyapunov奖励

推荐理由：这篇论文对比了四种强化学习奖励函数在抵御网络攻击时的表现，发现Lyapunov奖励弹性最好，PPO比DDPG方差更低，做控制器设计可以拿来参考。

原文

6月16日

10:36