#ALFWorld

浙大团队烧了 1.2 万 GPU 小时把 10 种智能体训练方法拉到同一环境里跑了一遍，结论是 GRPO 依然难被打败，做 Agent RL 的值得看看.

智能体 RL 训练按需注入文本技能，省掉逐个试错的成本，ALFWorld 等四个基准全超基线，代码开源。

训练小模型的同学可以看看这篇：用分支采样蒸馏，token 成本降三成，数学和 agent 任务成绩都比普通蒸馏高不少。

给智能体加水印，工具改名或观察被改写后老方法基本失效，SBW 把检测率拉到 0.9 以上，还坦白了没防住的攻击。

训练长程智能体的朋友可以看看这篇，它解决了步级信用分配噪声大的问题，而且不用加 critic，成本很低，在 ALFWorld 等三个环境都有提升。

研究发现LLM代理常无法执行已声明的计划，提出规划即路由方法，显著提升任务成功率。

这篇论文给多轮智能体蒸馏提了个新思路：只在学生拿不准的步骤让老师出手纠正，WebShop 分数最多提升 15.8%。做 Agent 训练的可以看看干预时机的选择。

这篇论文揭示了嵌入检索在表面形式与意义分离时的严重偏差，数学领域完全失败，轨迹领域表现不一。

SPO++在异步智能体强化学习领域取得了显著进展，提高了在线学习效率，值得一试。

这篇论文用GPT-5.5和DeepSeek实测发现，压缩上下文会让智能体反复重新查工具，任务成功率却没变。想知道为什么只看完成率会骗人，可以读读。

这篇论文提出了一种不用人工任务标注的训练方法，让LLM智能体自己从环境里找目标学，在ALFWorld和ScienceWorld上有效，还能给后续强化学习打底子。

这论文把智能体记忆里反馈分散和奖励污染的问题一起解决了，Cold-Q降了80%，记忆体积缩了84%，效果很硬核。

MemHarness 让智能体把旧经验改写到当前场景再用，在 ALFWorld 和 WebShop 上比静态记忆基线强不少。

PATS用动态训练支架帮弱策略少犯错，ALFWorld和WebShop上最高提升18.6%，而且部署时没负担。

这篇论文用图匹配让智能体一次纠正错误，不用反复试错，在ALFWorld和ScienceWorld上效果比现有方法更好。

这篇论文提出了SkillReranker，在智能体任务中通过任务分解引导技能重排序，比传统方法更准更省token，具体在ALFWorld和ScienceWorld上验证了效果。

想改进智能体强化学习的信用分配？TRIAGE通过角色类型化标签给不同动作段不同奖励，效果超过GRPO，还能少绕弯路。

WorldEvolver通过三种记忆模块让智能体的世界模型在测试时自我进化，在ALFWorld和ScienceWorld上预测准确率最高，下游成功率也领先其他方法。

这篇论文解决了强化学习给LLM智能体分配奖励时的一个逻辑问题：相同意思的步骤因轨迹成败拿了相反信用。SCPO在ALFWorld和WebShop上跑分挺高，最难的步骤提升明显。

这篇论文用实验证明LLM代理离了上下文里的计划就抓瞎，不是脑子记住了。对做多步任务代理的人很有启发。