密集奖励优于结果奖励:临床多轮智能体强化学习研究
做医疗或客服这类多轮智能体训练的人必看。论文用三个临床环境实测发现结果奖励训练会让模型走捷径,高风险病例崩掉,而给提问环节加过程奖励能救回来。想避免智能体“偷懒式”收敛的团队可以直接参考它的实验设置。
做医疗或客服这类多轮智能体训练的人必看。论文用三个临床环境实测发现结果奖励训练会让模型走捷径,高风险病例崩掉,而给提问环节加过程奖励能救回来。想避免智能体“偷懒式”收敛的团队可以直接参考它的实验设置。
Arena团队发布了图像模型后训练新方法,通过复合奖励显著提升FLUX和Ideogram性能,解决奖励攻击问题。
这篇论文提出了AI代理机制设计的理论框架,解决了代理能力未知情况下的控制问题,并给出了五种应用场景。
VAORA 用一个巧妙的奖励设计,让 VLM 在物理推理中不再瞎想,在 PHYRE 和 Virtual Tool 上泛化能力更好。
做AI智能体评估和训练的团队终于有了检测作弊的实用工具——CapCode能直接暴露模型是否在走捷径,CapReward则从奖励设计上杜绝作弊,建议做编码智能体评测的开发者点开看看。
长上下文推理是当前大模型的瓶颈,LongTraceRL 用搜索轨迹和细粒度奖励解决了干扰项和奖励稀疏的问题,做推理模型训练或长文档理解的团队可以直接用开源代码复现。
做RLHF或RLVR的团队终于有了更聪明的奖励设计——POW3R解决了静态评分标准浪费训练信号的问题,做多模态或文本模型对齐的开发者可以直接参考实验设置。
做代码生成模型训练的团队会发现,静态检查奖励比执行测试更高效且能避免能力悬崖,建议在困难任务上优先采用。
RubricEM 解决了强化学习中奖励设计难的问题,做复杂任务规划和决策的 AI 研究者值得关注,它可能让强化学习在更多真实场景落地。
这篇论文为资源受限的团队提供了明确的训练策略——用最强模型做探索、用小模型做部署,做模型压缩或后训练的开发者可以直接参考这个稀疏到稠密的分配原则来提升效率。