Apple 论文:Claude Opus 5.5 直接控制机械臂,零样本成绩超 VLA 专用模型
苹果没训练任何机器人模型,只把 Claude Opus 5.5 接上摄像头和机械臂,RoboLab-120 上零样本就拿到 85.6%,比专门训过的 VLA 高了近一倍。做机器人或具身智能的值得看看这个思路,缺点是实时性还跟不上。
Apple 发布论文介绍 AMP1 测试框架,让 Claude Opus 5.5、Gemini 4 Argon 这类通用大模型直接控制机器人机械臂,无需任何演示数据或任务训练。框架只提供相机画面、代码执行接口和底层运动指令,模型自行发明抓取与放置策略。
在 RoboLab-120 基准上,AMP1 零样本成功率达到 85.6%,而训练过演示数据的最佳 VLA 模型为 49.2%,最佳 world-action 模型仅 42.9%。在真实 Franka 机械臂的 108 次试验中成功 104 次。主流 VLA 方案依赖录制演示训练,指令一旦变化就容易失效;AMP1 的做法是用通用模型的推理能力替代专用策略训练。
短板在速度:机器人每个回合大部分时间在等待模型输出。这篇论文对机器人开发者意味着,具身智能可能不一定要从海量演示数据训练开始。
New Apple paper shows that a general-purpose AI model like Claude Opus 5.5, given camera views and direct control of a robot arm, handled objects more reliably than robot models trained on recorded demonstrations.
New Apple paper shows that a frontier AI model directly controlling a robot arm beats specialist robot policies, with no demonstrations or task training.
Most robot manipulation work trains specialist policies, like vision-language-action models, on demonstrations, and they break easily when instructions change.
Their harness, AMP1, gives a model like Claude Opus 5.5 or Gemini 4 Argon camera views, code execution, and direct motion commands in a loop. It has no built-in grasping or placing skills, so the model invents its own strategies.
On RoboLab-120, AMP1 succeeded in 85.6% of episodes zero-shot, against 49.2% for the best VLA and 42.9% for the best world-action model. On a real Franka arm it succeeded in 104 of 108 trials, though the robot waits much of each episode for the model.
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Claude Opus 5.5、Gemini 4 Argon、VLA、具身智能,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「rohanpaul_ai」(@rohanpaul_ai),经 AITOP 多维评分管线结构化提炼。