主要来源arXiv: OpenAI
查看原文事件专题 ·官方一手
DominoBench 发布:30 个多模态模型看图预测物理连锁反应无一过关
DominoBench 是一个基于物理模拟器判定结果的新基准,包含 854 道题、427 组最小对,测试多模态模型能否从静态图片预测斜坡、摆锤、跷跷板和多米诺骨牌等 2D 刚体场景的连锁反应。团队测试了 10 个模型家族共 30 个模型,结论是没有任何模型能在无辅助条件下可靠预测结果。 机制上,每道题设计为改变 1-3 个格子的某个量就决定一个人是否幸存,并配有四级提示阶梯,最后一级给出决定结局的精确计算。Anthropic、Google 和 OpenAI 的前沿模型在无提示时对关键人物的判断正确率不超过 72%,成对题目同时答对的比例不超过 34%。给出文本形式的精确几何信息帮助甚微,但当把决定性计算及其所需量(包括静态图无法显示的速度)写出后,同一批模型达到 82-92%,而小型开源模型仍接近随机水平。 这说明失败出在定量计算环节:最强模型能在被给出决定性量时使用它,却无法自行得出。对需要规划或作用于物理世界的模型而言,流畅的场景描述并不能证明预测正确,DominoBench 正是检验模型能否自主找到并计算决定性量。
当前结论
看图预测多米诺连锁反应,30 个模型全军覆没。GPT、Gemini、Claude 这些旗舰在纯看图时最多 72% 命中,但把决定性计算写出来后能到 82-92%,说明瓶颈在定量推理。做具身智能或机器人规划的开发者值得用这个基准测测自己的模型。
11 个信源56° AI 热度最后更新 2026/11/16 01:24:42
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。