决策模型给长程智能体当老师，Qwen2.5-1.5B 在 ALFWorld 提升至 82.9%

一项新研究提出，用于智能体强化学习的决策模型应只负责评估已完成的轨迹，把动作选择留给策略本身。在 ALFWorld 上，参与测试的六个模型（三个决策模型和三个通用 LLM）作为执行者时，都会先做更容易的子目标，而不是必须先做的那个；但当看到完整轨迹、被问每个动作是否有帮助时，这些模型却会给被自己跳过的步骤记分。 研究机制上，决策模型输出类型化分布，例如为每个选项给出一个概率。将其中一个决策模型用作 GRPO 的教师后，Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 72.8% 升至 82.9%，在 WebShop 上从 56.8% 升至 71.4%，其中包括它作为执行者很少能完成的任务。 这揭示了'评估'与'执行'能力的分离：模型作为评估者比作为执行者更可靠，利用这一点可以低成本提升小模型的智能体能力。论文编号为 arXiv:2611.17167。