FOCUS：用主动 critic 学习解决长程智能体信用分配问题

长程语言模型智能体的稀疏结果奖励难以给早期动作分配信用，而传统 critic 的中间状态估值不准确，用重复续写样本估计中间值的成本也很高。论文提出 FOCUS，通过选择性分支让 rollout 控制器从最能降低 critic 估计误差的状态采样续写，实现主动学习，并用 TD(λ) 优势对连续状态间的片段打分。在 Qwen3.5-9B 规模、每步生成预算匹配的条件下，FOCUS 在 BrowseComp-Plus 上比最强基线（GRPO 和 VinePPO）高 7.2 个百分点（55.4 vs 48.2），在 DeonticBench 上高 4.1 个百分点（56.5 vs 52.4），测试覆盖法律推理、深度搜索和代码定位基准。方法还提供模块化上下文管理接口，将上下文管理与 rollout 分配解耦。