论文：决策能力差的模型也能当好智能体的"老师"

浙大 REAL 团队在 arXiv 发布论文《Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents》，探讨同一个决策模型在行动、评判、教学三种角色中的差异。研究在 ALFWorld 上对比了 3 个决策模型和 3 个通用 LLM，发现全部 6 个模型作为 actor 时都会被更简单的子目标带偏，跳过必须先完成的步骤；但作为 judge 看完整轨迹时，它们能给这些步骤正确评分。 机制上的关键发现是提问方式：让 judge 判断"这一步是否有帮助"而不是"任务最终是否会成功"，才能有效区分有用和无用动作。作为 teacher，JEV 方法将 Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 GRPO 基线的 72.8% 提升到 82.9%，在 WebShop 上从 56.8% 提升到 71.4%。 这对长程智能体训练有实际意义：行动能力弱的模型可以胜任奖励信号来源，因为事后评判能观察到行动时必须预判的后果。代码已在 GitHub（ZJU-REAL/decision-agents）开源。