论文精选

Google 与 Johns Hopkins 论文:Pro2 Agent 用瓶颈追踪在 MLE-Bench 拿下 76.0% 奖牌率

精选理由

如果你在做科研或 ML 研究智能体,这篇论文给了一条可落地的思路:别只比代码分数,让智能体维护一份瓶颈假设清单,每次实验只改一个变量。76.0% 对 28.8% 的首解奖牌率差距说明方法真的有效,比纯“打分循环”的 MARS 一类框架更值得抄。

Google 与 Johns Hopkins 的论文提出 Pro2 Agent,在全部 75 个 MLE-Bench 任务上达到 76.0% 的奖牌率(48 小时内),为目前最高记录,底层编码模型为 Gemini 3.5 Flash。在 MLE-Bench Lite 上,其首个解法就有 57.6% 的任务获奖牌,是 MARS(28.8%)的约两倍。

正文

传统 ML 研究智能体只在“改代码—打分—保留最优”的循环里打转,遇到根本性错误时会陷入无效微调。Pro2 Agent 的做法是先构建一个“Problem State”:记录疑似性能瓶颈、来自文献的候选修复方案,以及每项假设的置信度;随后执行单变量实验,先更新这些信念,再决定改动方向。

论文给出的核心启示是:让研究智能体显式写下并持续更新阻碍进展的瓶颈假设,每次实验只验证一个变量。这一范式对构建自动化 ML 研究和科研智能体的开发者有直接参考价值。

原文 · rohanpaul_ai

New Google and Johns Hopkins paper shows that AI research agents do better when they track what limits performance, not just which code scored best.

Agents that do ML research usually loop on code: change it, score it, keep the best. On hard tasks they can get stuck tweaking a solution that is wrong at its core.

Pro2 Agent first builds a "Problem State": the bottlenecks it suspects, candidate fixes from the literature, and how confident it is in each. It then runs single-variable experiments that update those beliefs before committing changes.

On all 75 MLE-Bench tasks, it reached a 76.0% medal rate with 48 hours, the highest reported, using Gemini 3.5 Flash for coding. On MLE-Bench Lite, its first solution already medaled on 57.6% of tasks, against 28.8% for MARS.

If you build research agents, make them write down and update what is blocking progress, and test 1 change per experiment.

产业坐标与信源核验

本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Pro2 Agent、MLE-Bench、Gemini、Google,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「rohanpaul_ai」(@rohanpaul_ai),经 AITOP 多维评分管线结构化提炼。