AITOPAI热报

GRPO

共 64 条相关 AI 资讯
6月23日
12:56
12:56官方账号arXiv cs.AI@Jubayer Ibn Hamid, Ifdita Hasan Orney, Michael Y. Li, Omar Shaikh, Yoonho Lee, Dorsa Sadigh, Chelsea Finn, Noah Goodman
72°
SPIRAL提出一种新训练框架，让语言模型在推理时同时使用顺序链式思维、平行采样和最终聚合三种原语。该方法通过集束强化学习优化所有组件，在推理任务中扩展效果优于GRPO，最高实现11倍扩展效率和15%性能提升。实验表明模型能有效学习生成对聚合有用的轨迹集并改进最终答案。
论文SPIRALGRPO推理模型
推荐理由：这篇论文的SPIRAL方法教模型自己学会并行思考再汇总，比单纯加大顺序推理高效11倍，效果还更好，值得做推理扩展的朋友看看。
原文
6月19日
23:54
23:54elvis@omarsar0
精选
论文提出三阶段流水线，从GUI轨迹中分段、聚类候选技能并训练技能感知策略。八个聚类中五个纯度≥0.95。但GRPO仅将技能步准确率从18.5%提升至20.5%，低于频率先验。作者指出弱边界检测器、无序段表示和离线奖励模型是三大原因。
论文SKILL.mdCodexOpenAI
事件专题
推荐理由：这篇论文用OpenAI Codex的思路做智能体技能提取，八个聚类五个纯度超0.95，但GRPO只提了2个点，分析很实在。
原文
10:10
10:10官方账号arXiv cs.AI@Bo Yin, Xiaobin Hu, Chengming Xu, Ruolin Shen, Mo Yang, Jiangning Zhang, Peng-Tao Jiang, Cheng Tan, Shuicheng YAN
SPOT-E方法针对视觉语言模型在处理证据密集型任务时因小区域视觉证据被忽略导致的读取失败问题。该方法利用答案跨度预测熵作为模型内部反馈，通过低熵锚点和熵整形目标消除歧义，避免模型陷入捷径塌缩。SPOT-E基于GRPO进行每实例轻量级调优，生成问题条件化的聚光灯。在多个VLM族和基准测试中，SPOT-E一致提升了性能并增强了视觉损坏鲁棒性。代码已开源。
论文SPOT-EVLMGRPO
推荐理由：SPOT-E这个新方法挺有意思，它不重训模型，只在推理时搞了个视觉聚光灯和熵整形，就让VLM在那些需要细看局部证据的任务上表现好多了。尤其用GRPO调优，效果提升还挺稳定。
原文
6月18日
10:54
10:54官方账号arXiv cs.LG@Haipeng Luo, Qingfeng Sun, Songli Wu, Can Xu, Wenfeng Deng, Han Hu, Yansong Tang
STARE针对GRPO等强化学习训练中策略熵崩溃问题，提出令牌级信用分配纠偏方法。通过惊讶度分位数识别熵关键令牌子集，选择性重加权其有效优势，并引入目标熵闭环门控实现稳定熵调节。在1.5B至32B规模模型及短CoT、长CoT、多轮工具使用三类任务中，STARE可维持数千步稳定训练。在AIME24和AIME25上，STARE准确率较DAPO等基线提升4%-8%，反射令牌和响应长度同步增长，表明探索-利用平衡得到改善。代码已开源。
论文STAREGRPO策略熵
推荐理由：STARE解决了GRPO训练中策略熵崩溃的老问题，在AIME数学竞赛上比DAPO高4-8个点，代码也开源了，搞RL训练的同学可以试试。
原文
09:47
09:47官方账号arXiv cs.AI@Ruishan Fang, Siyuan Lu, Chenyi Zhuang, Tao Lin
多轮工具使用强化学习受限于静态数据集中信息样本快速耗尽的问题。研究观察到GRPO中梯度集中在高奖励方差任务上，基于Popoviciu上界。提出RODS方法，利用进度奖励方差作为零成本边界检测器，无需额外推理。通过技能对齐重采样管道合成新多轮变体，维护动态缓冲池。从400个人工种子开始，保持约800样本活跃池，达到与17K样本离线管道相当性能，轨迹数减少约20倍。
论文RODSGRPO工具使用智能体
推荐理由：这篇论文用奖励方差自动发现困难样本并生成新数据，训练效率比静态数据高20倍，特别适合多轮工具智能体场景。
原文
6月15日
11:12
6月10日
11:03
11:03官方账号arXiv cs.LG@Semih Kara, Oğuzhan Ersoy
精选
该研究探讨了自蒸馏中上下文设计的关键作用，通过训练求解器接收冻结批评者的反馈，比较了三种条件：二元奖励、参考解决方案和步骤对齐批评。步骤对齐批评在Avg@12指标上比GRPO高出16.11分，比参考解决方案条件高出5.27分。分析表明，步骤对齐反馈仅针对推理失败的token，保留正确行为，而参考解决方案迫使模型在每个token上改变行为，导致效率降低。研究揭示了反馈与求解器推理的结构对齐是自蒸馏有效性的关键驱动因素。
论文自蒸馏反馈对齐推理模型
推荐理由：做自蒸馏或强化学习的研究者会发现，步骤对齐反馈比传统奖励信号更高效，直接提升模型推理质量，值得在实验中尝试这种上下文设计。
原文
09:12
6月9日
12:41
12:41官方账号arXiv cs.AI@Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich
精选
本文提出AdvGRPO框架，解决了GRPO在攻防协同训练中不稳定的问题。通过密集多通道奖励和分离优势归一化，使攻击者和防御者模型交替更新，从单轮攻击逐步过渡到多轮闭环攻击。实验表明，该方法能生成高效且可迁移的攻击，协同训练的防御者在安全基准上优于基线。这项工作为语言模型的安全对齐提供了新的自适应红队方法。
论文红队测试GRPO攻防协同
推荐理由：做AI安全对齐的团队终于有了一个稳定的GRPO攻防协同训练方案，能同时提升攻击发现能力和防御鲁棒性，建议做红队测试的开发者直接参考。
原文
10:35
10:35官方账号arXiv cs.AI@Subramanyam Sahoo
精选
大语言模型常会“不懂装懂”，对超出知识边界的问题给出流畅但错误的回答。研究者提出结构化无知证书（SICs），要求模型明确输出缺失的领域交集、所需概念和检索查询，而非直接生成答案。团队构建了7347条跨领域未知-未知数据集，并用GRPO微调14B模型，使SIC输出JSON有效率达99.46%，概念特异性评分0.967。该方法证明，让模型显式表达认知边界是可学习且可衡量的能力，对提升AI可靠性和安全性有重要意义。
论文推理模型幻觉缓解结构化输出
推荐理由：这项研究直接戳中了LLM的“幻觉”痛点——用结构化输出让模型承认无知，做AI安全或可靠性研究的团队值得关注，尤其适合需要高可信度输出的应用场景。
原文
6月3日
10:47
10:47官方账号arXiv cs.AI@Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang
精选
现有基于评分标准的强化学习（RL）方法将查询分布视为固定，导致开放查询产生模糊评分标准，而狭窄查询又引入无法验证的参考，使训练失去奖励信号。QUBRIC框架通过教师提取关键点将开放查询重写为可评估的场景问题，并利用对比评分生成和可学习性过滤，保留信息丰富的查询-评分对用于GRPO训练。在ArenaHard上，QUBRIC相比SFT基线提升5.5分，且仅用指令跟随数据训练后，在三个未见基准（法律、道德、叙事推理）上平均提升6.3分。这表明联合设计查询与评分标准可使基于评分标准的RL成为严格可验证任务之外的有效补充。
论文强化学习评分标准查询设计
推荐理由：QUBRIC解决了RL在非可验证任务中的核心瓶颈——查询与评分标准不匹配，做RL训练或AI对齐的团队可以直接参考其方法，提升模型在开放推理任务上的表现。
原文
10:43
10:43官方账号arXiv cs.LG@Hanjiang Hu, Yiyuan Pan, Jiaxing Li, Xusheng Luo, Alexander Robey, Na Li, Yebin Wang, Changliu Liu
精选
VLESA 是一个面向具身 AI 的安全框架，通过分析第一人称视频实时预测危险动作并触发干预。它解决了“意图依赖的安全”问题——相同动作在不同情境下可能安全或危险。研究团队引入了配对第一人称帧与目标条件安全标注的数据集，并训练了基于 GRPO 的目标条件安全 Q 过滤器，无需重新训练即可评估动作安全性。在 ASIMOV-2.0 基准上，VLESA 在精确帧上实现了更高的干预准确率，GRPO 训练的 Q 过滤器通过目标条件约束解码将动作安全性提升了超过 41 个百分点。代码已开源。
论文具身智能安全监控视觉语言模型
推荐理由：做具身 AI 安全或人机协作的团队，VLESA 提供了一个可落地的实时安全监控方案，能根据上下文判断危险动作，建议直接看论文和代码。
原文
6月2日
11:58
11:58官方账号arXiv cs.AI@Seojeong Park, Jiho Choi, Junyong Kang, Seonho Lee, Jaeyo Shin, Hyunjung Shim
精选
研究发现多模态大语言模型作为自动评估者时存在“感知判断偏见”：当视觉证据与文本线索冲突时，模型倾向于奖励看似合理但感知错误的回答。研究者通过受控视觉扰动构建了 Perceptually Perturbed Judgment 数据集，并开发了结合 GRPO 奖励与批量排序目标的统一训练框架。该方法无需显式成对标签，即可实现全局一致性排序。实验表明，该方法显著提升了多模态评估者的感知保真度、排序一致性与人类评价对齐度。这项工作为训练感知可靠、可解释且鲁棒的多模态评估者提供了可扩展路径。
论文多模态大模型评测偏见感知扰动
推荐理由：做多模态模型评测的团队终于有了对抗感知偏见的方法——Perceptual Perturbation 框架能直接提升评估者的视觉可靠性，建议做 MLLM 评测基准的开发者点开看看实验细节。
原文
5月28日
10:34
10:34IT之家（博客/媒体）
精选76°
英伟达研究团队发布开源框架 Polar，通过在不改动现有智能体框架（如 Codex、Claude Code、Qwen Code）的前提下接入 GRPO 强化学习训练，大幅提升代码智能体在 SWE-Bench 上的表现。Polar 将智能体与模型的接口作为训练边界，而非重写执行框架，从而保留原生工具调用和上下文组织能力。实验显示，基于 Qwen3.5-4B 模型，Codex 的 pass@1 分数从 3.8% 提升至 26.4%，涨幅达 594.74%。同时，Polar 通过 prefix_merging 等技术将训练效率提升约 5.39 倍，GPU 利用率从 20.4% 升至 87.7%。该框架解决了智能体强化学习从单步任务转向长流程任务时的接入难题，为代码仓库修改、浏览器操作等复杂场景提供了高效训练方案。
AI产品英伟达PolarGRPO
事件专题
推荐理由：做代码智能体训练的团队终于有了一个不用重写框架就能接入强化学习的方案——Polar 让 Codex 跑分暴涨近 6 倍，建议搞 AI 编程的开发者直接看论文和代码。
原文
01:12
01:12官方一手marktechpost@Asif Razzaq
76°
NVIDIA 研究人员推出 Polar，一个 token 忠实展开框架，用于通过强化学习训练语言智能体，无需修改其智能体框架。Polar 在框架和推理服务器之间放置模型 API 代理，捕获 token 级交互并重建训练器就绪轨迹。基于 Qwen3.5-4B 基础模型使用 GRPO，Polar 在 Codex 框架下将 SWE-Bench Verified pass@1 提升 22.6 个百分点，在 Claude Code 下提升 4.8 个百分点，在 Pi 下提升 6.2 个百分点。该框架已注册为 NeMo Gym 环境，并在 ProRL Agent Server 仓库中发布。
AI模型NVIDIAPolarGRPO
事件专题
推荐理由：Polar 解决了 RL 训练智能体时需修改框架的痛点，做代码智能体或 RL 训练的开发者可以直接集成，无需改动现有工具链，值得一试。
原文
5月26日
16:35
16:35官方一手marktechpost@Sana Hassan
本文是一篇技术教程，详细介绍了如何使用 TuringEnterprises/Open-MM-RL 数据集构建完整的多模态强化学习与可验证奖励（RLVR）管线。教程涵盖数据集加载、模式检查、领域分析、问题长度与答案类型统计、图像分布可视化等预处理步骤。还构建了轻量级奖励函数，支持精确匹配与语义评分，并演示了 GRPO 导出流程。该管线为多模态推理任务提供了可复现的实践框架，适合研究者和开发者快速上手。
论文多模态强化学习RLVR
推荐理由：多模态 RLVR 是当前强化学习与视觉语言结合的热点方向，这篇教程从数据集到奖励函数再到导出一步到位，做多模态推理或 RL 研究的团队可以直接照着搭，省去自己踩坑的时间。
原文
5月22日
10:58
10:58官方账号arXiv cs.AI@Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal
精选72°
当前大语言模型的后训练通常优化单一标量奖励，导致输出分布低熵，难以在推理时搜索（如AlphaEvolve）中展现多样性。本文提出向量策略优化（VPO），一种显式训练模型适应多样化下游奖励函数并产生多样化解决方案的强化学习算法。VPO利用实践中奖励常为向量形式（如代码生成的逐测试用例正确性、多种用户画像或奖励模型），作为GRPO优势估计器的即插即用替代，训练模型输出一组解，每个解专门针对向量奖励空间中的不同权衡。在四个任务上，VPO在测试时搜索（如pass@k和best@k）中匹配或超越最强标量RL基线，且差距随搜索预算增大而扩大。对于进化搜索，VPO模型能解决GRPO模型完全无法解决的问题。
论文强化学习推理时搜索多样性训练
推荐理由：VPO解决了LLM在推理时搜索中缺乏多样性的痛点，做强化学习后训练或推理时搜索的团队值得关注，它直接替换GRPO就能提升搜索效果。
原文
5月21日
10:22
10:22官方账号arXiv cs.LG@Xixiang He, Qiyao Sun, Ao Cheng, Xingming Li, Xuanyu Ji, Hailun Lu, Runke Huang, Qingyong Hu
精选72°
Group Relative Policy Optimization (GRPO) 在提升大语言模型推理能力方面表现出色，但存在优势坍塌问题：当组内奖励同质化（如全对或全错）时，优势趋近于零，导致梯度消失。研究者首次提出诊断指标 Advantage Collapse Rate (ACR)，量化训练批次中梯度无效的比例，并在0.5B至14B参数模型上验证了ACR对训练停滞和最终性能的强预测性。为缓解该问题，他们提出 Adaptive Virtual Sample Policy Optimization (AVSPO)，通过实时ACR监控注入虚拟奖励样本，无需额外模型推理即可从同质组中学习。AVSPO将优势坍塌减少58-63%，在所有模型规模上带来4-6个百分点的准确率提升，且保持了域外泛化能力。代码和数据集已开源。
论文GRPO优势坍塌RLVR
推荐理由：GRPO用户终于有了解决训练停滞的实用工具——AVSPO无需额外推理成本就能提升4-6个点准确率，做大模型RL训练的团队可以直接试。
原文
09:46
09:46官方账号arXiv cs.AI@Yixu Wang, Yang Yao, Xin Wang, Yifeng Gao, Yan Teng, Xingjun Ma, Yingchun Wang
精选
论文指出当前大模型的安全对齐存在脆弱性：同一恶意意图换种措辞就可能绕过防护。作者提出“上下文不变性对齐”概念，要求模型行为基于底层意图而非表面形式。为此设计了锚定不变性正则化（AIR），将可验证提示作为锚点，仅对开放变体进行正则化，避免降低可靠变体的性能。在安全、道德推理和数学任务上，AIR将分布内准确率提升12.71%，分布外一致性提升33.49%，使安全约束对对抗性措辞更鲁棒。该方法可作为插件与GRPO等偏好优化方法结合使用。
论文大模型安全对齐上下文不变性
推荐理由：大模型安全对齐的脆弱性一直是部署痛点，AIR用巧妙的锚定策略解决了“一改措辞就破防”的问题，做安全对齐的团队可以直接集成到现有训练流程中。
原文
5月19日
11:42
11:42官方账号arXiv cs.AI@Junming Liu, Yuqi Li, Yifei Sun, Maonan Wang, Piotr Koniusz, Yirong Chen, Ding Wang
精选
视觉语言模型（VLM）在空间推理上仍存在脆弱性，即使能正确回答原始输入，也可能在变换后失败。为此，研究者提出SAGE（Spatial Alignment via Geometric Evolution），一种自进化框架，通过几何和语言对偶操作强制VLM保持逻辑一致性。SAGE将一致性作为GRPO训练的辅助奖励，并动态调整操作池以聚焦最具信息量的信号。该方法模型无关、数据高效，可作为轻量后训练阶段应用于任何VLM。实验表明，SAGE在视频和空间推理基准上持续优于强基线，并提升了对未见数据的泛化能力。
论文空间推理视觉语言模型自进化训练
推荐理由：空间推理是VLM的硬伤，SAGE用自进化训练解决了这个痛点，做多模态模型训练或空间理解应用的团队可以直接参考方法。
原文
5月18日
10:39
10:39官方账号arXiv cs.LG@Vaidehi Bagaria, Nikshep Grampurohit, Pulkit Verma
精选
该论文发现GRPO算法在VLA策略强化学习中，梯度计算占78%时间，而大部分计算浪费在策略已掌握的阶段。为此提出概率性分块掩码（PCM），通过成功-失败动作方差识别关键阶段，仅对少量分块进行梯度更新。PCM无需额外奖励模型，在LIBERO基准上保持相同成功率的同时，实现2.38倍加速、4.8倍梯度更新加速和60%峰值内存降低。
论文强化学习VLA策略GRPO
推荐理由：做VLA机器人强化学习的团队终于有了省算力的方案——PCM直接替换GRPO就能省60%内存、快2倍多，效果还不打折，建议做后训练优化的点开看看。
原文
5月16日
21:49
5月13日
19:12
19:12官方一手arXiv: DeepSeek@Mingxiong Lin, Zhangquan Gong, Maowen Tang, Qian Li, Chuangchuang Wang, Jian Ma, Sutian Huang, Kai Tang, Haonan Lu
精选
论文发现GRPO算法存在两个效率问题：固定KL系数限制模型探索，均匀采样忽略中等难度题目的信息价值。提出FG-ExPO方法，包含两个轻量组件：基于准确率的自适应KL缩放（AKL）动态调整约束强度，以及高斯课程采样（GCS）聚焦模型学习前沿。在DeepSeek-R1-Distill-Qwen-1.5B和Qwen3-8B-Base上测试，AIME 2025 pass@32从63.33%提升至76.67%，8B模型平均提升2.66%。该方法在固定推理预算下扩大了模型有效探索空间。
论文GRPO强化学习数学推理
推荐理由：做LLM数学推理RL训练的团队，GRPO的KL系数和采样策略可以照搬这个改进，AIME 2025上13个点的提升值得一试。
原文
5月11日
11:42
11:42官方账号arXiv cs.AI（学术论文）
70°
该论文提出了一种名为“rubric-grounded reinforcement learning (RL)”的框架，将奖励分解为多个可验证的加权标准，由冻结的LLM评判器给每个回应评分，从而提供部分信用优化信号。作者从约10万份科技文档中提取评判规则，并利用GRPO方法微调Llama-3.1-8B-Instruct模型，在保留的评判规则评估上获得了71.7%的归一化奖励。经GRPO训练的策略在GSM8K、MATH、GPQA Main和GPQA Diamond等四个未参与训练的推理基准上均优于基础模型。这一结果表明，结构化、文档依赖的奖励能够改善保留评判规则的性能，并诱发可迁移的推理行为。该框架为提升大模型推理的泛化能力提供了一种新的训练范式。
论文推理模型强化学习LLM-as-judge
推荐理由：该研究通过分解奖励为多标准评判规则，实现了更细粒度的优化信号，在多个推理基准上验证了迁移效果，对大模型推理能力的训练方法有重要参考价值。
原文