DPPO 相关 AI 资讯 · AITOP · AI热报

8月25日

10:59

10:59

官方账号arXiv cs.AI@Penghui Qi, Xiangxin Zhou, Wee Sun Lee

研究针对大型语言模型训练中评论家不稳定性的问题，提出Best-Practice Critic Optimization (BPCO)方法，结合DPPO、价值预测、蒙特卡洛价值目标等，在数学推理任务中显著提升评论家性能，并匹配或超过基于群体的基线。代码开源。

论文评论家优化 DPPO 蒙特卡洛价值目标

推荐理由：这篇论文提出了一种针对大型语言模型训练中评论家不稳定性的解决方案，结合多种优化方法，效果显著，值得一看。

7月14日

09:23

09:23

官方账号arXiv cs.LG@Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

PPO通常使用采样标记重要性比率来稳定LLM强化学习的离策略更新，包括邻近准则和方向准则。DPPO改进了邻近准则但方向准则仍继承自PPO，其基于重要性比率的方向可能与散度变化不一致。本文提出预测性分歧掩码，通过闭式解预测策略梯度步骤对同一散度的影响，并针对生产环境中的Top-K词汇开发了两种轻量估计器。实验表明，该方法在多个模型尺度和精度设定下提升了RL训练效果。

论文 LLM PPO DPPO

推荐理由：这篇论文提出了一种更聪明的掩码方法，解决了PPO和DPPO在方向判断上的不一致，让LLM强化学习训练更稳定高效。