Salesforce AI Research 发布 JoMoHa：用强化学习同时训练智能体与执行框架
做智能体训练的人可以看看这篇。Salesforce 的做法是把 harness 也变成一个 RL 策略来一起训练，而不是只用固定的前沿模型改框架，还解决了交替更新导致的性能崩塌问题。在 ALFWorld 上跑到 97%，比只训模型或只训框架的基线都强。
Salesforce AI Research 及合作者发布 JoMoHa 方法，用强化学习从同一任务结果同时训练两个策略：一个负责编写可执行的 harness（执行框架），另一个在框架内解决任务。该方法在 ALFWorld、WebShop 和 DBBench 三个基准上平均取得 70.3%，其中 ALFWorld 达到 97.0%，超过了仅训练权重和仅训练框架两种基线。
技术上的关键问题是：交替更新模型和框架时，两者会逐渐不兼容，性能先升后降。团队为每个策略保留独立的轨迹历史和价值估计，解决了这种不匹配。实验还显示，对框架编写者进行训练比将其冻结效果更好。
此前自改进框架（self-improving harness）研究中的框架编辑器通常是固定的前沿模型，JoMoHa 的意义在于让框架本身也成为一个可学习的策略，为智能体自我改进提供了新的训练范式。论文与可对话的 Chat with Paper 页面均已公开。
Nice read from Salesforce AI Research and colleagues. There is a lot of interest in self-improving harnesses, but the harness editor is usually a fixed frontier model. JoMoHa trains two policies with RL from the same task outcomes. One writes the executable harness, and the other solves the task inside it. Updating the model and the harness in turns caused trouble. Performance rose and then fell as the two became incompatible. Keeping separate histories and value estimates for each policy fixed that. JoMoHa beat weight-only and harness-only training on ALFWorld, WebShop, and DBBench, averaging 70.3% and reaching 97.0% on ALFWorld. Training the harness writer also beat freezing it. arxiv.org/abs/2611.11499 Chat with Paper: academy.dair.ai/papers/jomoha-…
本条情报归属 AITOP「论文」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：JoMoHa、Salesforce AI Research、强化学习、智能体，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「elvis」（@omarsar0），经 AITOP 多维评分管线结构化提炼。
