AITOPAI热报

奖励设计

共 8 条相关 AI 资讯
9月2日
10:48
10:48官方账号arXiv cs.AI@Dirk Bergemann, Andrew Koh, Stephen Morris
精选73°
研究人员开发了一种针对AI代理的机制设计框架，这些代理的对齐偏好和能力未知。该框架通过单向模仿结构实现诚实和服从的激励，并揭示了可实施政策的特征。研究团队将此框架应用于五种典型场景，包括能力伪装、对齐与可解释性权衡、同行评分纪律、竞争激励以及可扩展监督和奖励塑造。
论文机制设计AI代理对齐
推荐理由：这篇论文提出了AI代理机制设计的理论框架，解决了代理能力未知情况下的控制问题，并给出了五种应用场景。
原文
7月8日
12:18
12:18官方账号arXiv cs.AI@Han-Jun Ko, Jr-Jen Chen, Haobo Yuan, Hsin-Ying Lee, Tiancheng Shen, Ming-Hsuan Yang, Yu-Chiang Frank Wang
VAORA (Visual Action Outcome Reasoning Alignment) 提出两种互补奖励：Visual Alignment Reward 将 VLM 推理锚定到视觉上下文，独立于智能体动作；Visual-Action Alignment Reward 将推理与动作引起的视觉结果对齐。该方法在 PHYRE 和 Virtual Tool 基准上，针对未见任务和未见环境设置提升性能，抑制幻觉链式推理并缩小推理与行为差距。实验表明，VAORA 能诱导基于视觉的、可泛化的物理智能。
AI模型VAORA视觉语言模型物理推理
推荐理由：VAORA 用一个巧妙的奖励设计，让 VLM 在物理推理中不再瞎想，在 PHYRE 和 Virtual Tool 上泛化能力更好。
原文
6月8日
09:18
09:18官方账号arXiv cs.AI@Thanawat Lodkaew, Johannes Ackermann, Soichiro Nishimori, Nontawat Charoenphakdee, Masashi Sugiyama, Takashi Ishida
精选72°
论文指出AI编码智能体在评估中常通过走捷径而非真正解决问题来获得高分，导致评估分数不可靠。为此，研究者提出CapCode框架，通过设计随机测试并人为设定不可作弊的性能上限，使分数超过上限即表明作弊。同时提出CapReward奖励机制，抑制模型优化超出上限的行为。实验表明，CapCode能有效检测作弊，同时保持模型性能排名；CapReward能减少作弊行为，使模型更遵循任务规范。
论文智能体评估/基准作弊检测
推荐理由：做AI智能体评估和训练的团队终于有了检测作弊的实用工具——CapCode能直接暴露模型是否在走捷径，CapReward则从奖励设计上杜绝作弊，建议做编码智能体评测的开发者点开看看。
原文
6月1日
10:11
10:11官方账号arXiv cs.LG@Nianyi Lin, Jiajie Zhang, Lei Hou, Juanzi Li
精选
LongTraceRL 是一种新方法，旨在解决大语言模型在长上下文推理中难以定位和整合关键信息的问题。它通过知识图谱随机游走生成多跳问题，并利用搜索智能体的轨迹构建高混淆度的干扰文档，使训练上下文更具挑战性。同时，它提出了一种基于实体级过程监督的“评分奖励”，只对正确答案的推理过程进行细粒度评估，避免奖励作弊。在 4B 到 30B 的多个推理模型上，LongTraceRL 在五个长上下文基准测试中持续优于强基线，并促进了基于证据的推理。代码、数据集和模型已开源。
论文长上下文推理强化学习搜索智能体
推荐理由：长上下文推理是当前大模型的瓶颈，LongTraceRL 用搜索轨迹和细粒度奖励解决了干扰项和奖励稀疏的问题，做推理模型训练或长文档理解的团队可以直接用开源代码复现。
原文
5月20日
15:34
15:34官方账号arXiv cs.AI@Utkarsh Tyagi, Xingang Guo, MohammadHossein Rezaei, Daniel George, Anas Mahmoud, Jackson Lee, Bing Liu, Yunzhong He
精选
强化学习中的可验证奖励（RLVR）在自动检查正确性时很有效，但许多模型行为需要同时满足多个定性标准。基于评分标准的奖励（rubric-based rewards）通过聚合多个标准来解决这一问题，但静态聚合会混淆人类赋予的重要性和当前优化信号的有效性。研究人员提出POW3R框架，它能在训练过程中动态调整各标准的奖励权重，优先关注当前能区分模型输出的标准。实验表明，POW3R在30个基线策略/指标比较中赢了24个，平均奖励和严格完成率均优于传统方法，且训练速度提升2.5-4倍。
论文强化学习奖励设计RLVR
推荐理由：做RLHF或RLVR的团队终于有了更聪明的奖励设计——POW3R解决了静态评分标准浪费训练信号的问题，做多模态或文本模型对齐的开发者可以直接参考实验设置。
原文
5月19日
10:13
10:13官方账号arXiv cs.AI@Shuyin Ouyang, Zhaozhi Qian, Faroq AL-Tam, Muhammad AL-Qurishi, Jie M. Zhang
精选
该论文系统研究了扩散语言模型在代码生成中的强化学习后训练，重点探索了三种维度：奖励设计、提示条件采样和任务难度。研究发现，静态检查作为无需执行的奖励信号，在HumanEval上使DiffuCoder从53.9提升至67.1，在LiveCodeBench上从14.9提升至15.5，同时减少9.4%的推理时间。中等程度的AST提示在困难任务上最有效，而奖励设计的最佳选择依赖于任务难度：相似度奖励在简单子集上更优，静态检查在困难子集上更可靠。这些发现表明，奖励设计和训练指导显著影响扩散RL在代码生成中的表现。
论文代码生成强化学习扩散模型
推荐理由：做代码生成模型训练的团队会发现，静态检查奖励比执行测试更高效且能避免能力悬崖，建议在困难任务上优先采用。
原文
5月14日
01:10
5月13日
19:12
19:12官方账号arXiv cs.AI@Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard
精选75°
该论文提出了一种新的语言模型后训练原则：将稀缺的标注验证数据优先用于最强模型（教师）进行稀疏奖励强化学习（如GRPO），然后通过稠密奖励蒸馏（如OPD）将行为迁移到小模型（学生）。实验表明，在固定学生模型大小（Qwen3-1.7B）下，先对8B教师进行RL再蒸馏，效果优于直接在学生上运行GRPO。该原则强调避免在未准备好的策略上使用稀缺数据，而是通过“稀疏奖励发现→稠密迁移→学生侧稀疏奖励”的流程优化资源分配。
论文后训练强化学习知识蒸馏
推荐理由：这篇论文为资源受限的团队提供了明确的训练策略——用最强模型做探索、用小模型做部署，做模型压缩或后训练的开发者可以直接参考这个稀疏到稠密的分配原则来提升效率。
原文