Continual-ARC 基准测试：Agent 记忆系统难以泛化，训练 9B 模型权重反而有效

Unify.ai 团队发布 Continual-ARC 基准测试，评估 Agent 能否从经验中持续学习。结果显示 OpenClaw、Hermes Agent 和 Prime Agent 三个主流 Agent 框架都没有从经验中有效学习：既记不住有价值的信息，也无法泛化到新任务。对照组中，训练一个 9B 小模型的权重则同时做到了记忆和泛化。 论文提出的核心思路是让 harness 与模型共同进化（co-evolving）。当前 harness 中的记忆机制只适合简单、一次性、通用任务，遇到新颖且领域特定的任务就难以泛化。研究表明 harness 的角色正在变化：它不只是给模型提供工具、上下文和引导，还可以成为训练流水线的一部分，用来解锁模型的持续学习能力。 对开发者而言，这项分析意味着依赖外部记忆组件的 Agent 方案存在天花板，而把经验编码进模型权重可能是更可行的方向。harness 本身仍重要，但可以保持精简高效。