事件专题 ·多源确认

Y Combinator 创业公司 Synthetic Sciences 发布 FrontierML 基准,5 个前沿模型无一达标

Synthetic Sciences 是一家 Y Combinator 孵化的创业公司,其推出的 FrontierML 基准包含 25 个机器学习研究问题,实测的 5 个前沿 AI 模型没有任何一个在任何问题上达到强结果门槛。该基准的核心设计是把评估目标隐藏起来,Agent 拿不到自己将被打分的标准,必须自行设计测试并判断这些测试的可信程度。 每个任务以固定流程运行:Agent 在 Lab0 环境中获得一个开放式 ML 问题和 12 小时时限,先自行设计进度代理指标,再在真实 H100 GPU 上跑实验并校准该代理指标的可靠性,最后提交模型或方法,由 FrontierML 在 held-out 评估集上打分。 Synthetic Sciences 认为第三步——校准代理指标的可信度——正是实证研究的主要发生地,而评分很大程度取决于此。这实质上是检验 AI Agent 能否在完全看不到分数的情况下独立完成机器学习研究。

当前结论

25 个 ML 研究题,5 个前沿模型全挂,因为评分目标被藏起来,Agent 只能自己造测试、自己判断测试靠不靠谱,还给 12 小时和真 H100 随便跑。做 Agent 评测或搞 ML 研究自动化的团队应该看看它的任务闭环怎么设计的。

5 个信源51° AI 热度最后更新 2026/11/19 05:34:36

证据链

5 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。