SciResearch-Eval:用带缺陷模拟器评测科研智能体的实验设计能力
这个基准专挑模拟器物理缺陷这类科研智能体最怕的坑,比 MLE-bench 更考察实验设计判断力。GPT-6 Astra 和 Claude Fable 5.2 靠设计聪明实验保持校准,Claude 5.5 则要烧 13-31 倍推理才追上。做 agent 评测或科研自动化的人值得跑一下开源的 harness。
这个基准专挑模拟器物理缺陷这类科研智能体最怕的坑,比 MLE-bench 更考察实验设计判断力。GPT-6 Astra 和 Claude Fable 5.2 靠设计聪明实验保持校准,Claude 5.5 则要烧 13-31 倍推理才追上。做 agent 评测或科研自动化的人值得跑一下开源的 harness。