南洋理工大学等提出 COAP:让 Claude Opus 5.5 离线写代码控制双臂机器人
南洋理工的 COAP 框架让 Claude Opus 5.5 提前写好控制代码,执行时完全不调用大模型,RoboDojo 双臂任务成功率 70.24%,比之前最佳翻了一倍多。
南洋理工大学等团队提出具身图灵机框架 COAP,让 Claude Opus 5.5 作为编程 Agent 提前开发机器人控制程序,而不是在执行时实时调用模型。在 RoboDojo 的 42 项双臂机器人任务中,成功率达到 70.24%,比此前最佳方法的 31.38% 高出 38.9 个百分点。执行阶段不调用 VLM、VLA,也不需要在线 Agent 决策,代码通过摄像头和本体传感器持续更新环境与任务状态,按显式规则决定动作并支持失败恢复。这意味着机器人能力可以像软件工程一样通过修改和积累代码持续改进,而不必重新训练模型。目前结果全部来自仿真,真实世界的未知物体和泛化能力仍是挑战。
具身图灵机,南洋理工大学等提出:让Claude Opus 5.5写代码控制机器人,执行时不需要大模型
其团队在RoboDojo的42项双臂机器人任务中,成功率达到70.24%,比此前最佳方法的31.38%高出38.9个百分点
关键是,它在测试执行阶段不调用VLM、VLA,也不需要在线Agent决策
因为它把大模型从机器人的实时控制环路中,移到了离线策略开发和改进环节
传统VLA根据视觉等观测输入直接预测机器人动作;Agent-as-Policy则让大模型在执行过程中反复观察、推理、决策。COAP反过来,让Claude Opus 5.5编程Agent 提前开发机器人控制程序
执行时,代码通过摄像头和本体传感器持续更新环境与任务状态,再根据显式规则决定动作,支持失败恢复,而不是简单执行固定动作序列
这意味着,机器人能力的提升不一定依赖重新训练模型,也可以像软件工程一样,通过修改、测试、积累代码实现持续改进
不过,目前结果全部来自仿真,依赖已知物体几何和相机配置,真实世界的复杂接触、光照变化、未知物体以及泛化能力还是个挑战
#具身智能 #机器人