论文

ShadowBench 测评:6款AI模型无一能做出动物手影

精选理由

有人做了个ShadowBench,让6个前沿模型用双手摆动物手影,结果全军覆没,连一个都摆不出来,很有意思的空间理解测试。

ShadowBench 从19世纪手影书中提取20个动物剪影作为目标,搭建包含点光源与幕布的3D虚拟手部环境,让模型调用工具调整双手关节姿态来还原手影。参与测试的6款AI模型没有一个成功复现任何动物剪影。模型只能靠拉开双手距离在幕布上拼出大致黑影,耳朵、嘴喙等关键细节全部丢失。即使增加推理算力,模型也只是反复试错,仍无法预判肢体动作的投影效果。

原文 · Gorden Sun

一个有趣的测评集ShadowBench:用来测试AI模型能不能用双手做出动物手影

很多前沿AI模型看似精通3D空间理解,但在实际操控身体时,却无法预判自己肢体的动作在特定视角下会投射出怎样的影子。

研究团队从19世纪的手影书中提取出20个经典动物剪影作为目标,构建了包含点光源与幕布的3D虚拟手部环境,让模型通过调用工具逐步调整双手关节姿态,在限制步数内尽可能还原目标手影。

测试结果显示,参与评估的6款AI模型无一成功复现任何一个动物手影。模型普遍缺少空间投射的预判直觉,只能靠前后拉开双手距离、像拼贴画一样在幕布上凑出大致黑影,导致整体轮廓能对上,但耳朵、嘴喙和腿部等关键细节全部丢失。即使增加推理算力,模型也只是更耐心地反复试错,依旧无法从根本上解决缺乏身体投影视角想象力的问题。

项目链接:https://t.co/RvViMZsCdv