主要来源arXiv cs.LG
查看原文事件专题 ·多源确认
SciResearch-Eval:用带缺陷模拟器评测科研智能体的实验设计能力
arXiv 发布 SciResearch-Eval,一个交互式基准:智能体自主设计实验,用可能欠分辨或物理错误的模拟器测量材料热学性质,并以 95% 置信区间报告结果。评测在 93 个任务、9 个模型、2,511 个 episode 的 held-out 集上进行。 结果显示模型能处理程序性陷阱,但当模拟器缺失物理机制时,多数模型报告错误数值却声称 95% 置信:区间覆盖率仅 20-62%,而 GPT-6 Astra 达 94%、Claude Fable 5.2 达 99%。默认推理强度下 Claude Opus 仅在 35% 的 episode 中诊断出缺失物理(Astra 为 66%),Astra 和 Fable 则会设计让缺陷模拟器仍然准确的实验(如缓慢加热),从而保持校准。 要求更宽的区间没有用;明确陈述策略可使区间分数提升 1.6-2.5 倍。预注册的消融实验显示 Claude 5.5 的纠错能力是潜在的:最大推理强度下 Opus 提升逾十倍,但需消耗 13-31 倍推理量;老模型和开源模型则无改善。Fable 5.2 默认区间分数比 Astra 好 1.9 倍,但 token 消耗是其 6 倍。环境、评分器和测试框架已开源。
当前结论
这个基准专挑模拟器物理缺陷这类科研智能体最怕的坑,比 MLE-bench 更考察实验设计判断力。GPT-6 Astra 和 Claude Fable 5.2 靠设计聪明实验保持校准,Claude 5.5 则要烧 13-31 倍推理才追上。做 agent 评测或科研自动化的人值得跑一下开源的 harness。
6 个信源46° AI 热度最后更新 2026/11/16 18:27:09
证据链
6 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。