Y Combinator 创业公司 Synthetic Sciences 发布 FrontierML 基准,5 个前沿模型无一达标
25 个 ML 研究题,5 个前沿模型全挂,因为评分目标被藏起来,Agent 只能自己造测试、自己判断测试靠不靠谱,还给 12 小时和真 H100 随便跑。做 Agent 评测或搞 ML 研究自动化的团队应该看看它的任务闭环怎么设计的。
25 个 ML 研究题,5 个前沿模型全挂,因为评分目标被藏起来,Agent 只能自己造测试、自己判断测试靠不靠谱,还给 12 小时和真 H100 随便跑。做 Agent 评测或搞 ML 研究自动化的团队应该看看它的任务闭环怎么设计的。