论文多源确认

清华与UC Berkeley发布uni-robot-agent:让开源模型控制真实机器人

精选理由

清华和伯克利做的开源机器人控制框架,让Qwen这类便宜模型在真实机械臂上干赢GPT-6和微调过的π0.5,成本还便宜95%,代码在GitHub上可以自己跑。

清华大学和加州大学伯克利分校团队开发了uni-robot-agent框架,通过Codex和Claude Code运行环境接入Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GPT-6 Astra等模型,结合SAM3和Intel RealSense D405深度相机,将观察、移动机械臂、抓取整合为标准工具。接入框架后,开源的Qwen3.8-Flash-Next在RoboDojo模拟测试得分从1.90分升至31.39分,超过GPT-6 Astra旧框架下的28.97分。在19项真实双臂机器人任务中,它未经训练拿到53.50分,超过微调10小时的专用模型π0.5。成本上单次任务API花费1.09美元,比GPT-6 Astra的21.29美元低约95%,边动边想模式最多缩短73.7%耗时。

原文 · Gorden Sun

uni-robot-agent:让开源AI模型直接控制机器人的统一框架

闭源AI模型虽然能操作机器人,但调用费用极高且无法自行训练,而免费开源的AI模型在操作机器人时又经常因为缺乏空间感和动作反馈导致任务失败。

为了解决这个问题,清华大学和加州大学伯克利分校的研究团队开发了uni-robot-agent框架。研究团队利用Codex和Claude Code作为运行环境,接入Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash和GPT-6 Astra等AI模型,并结合SAM3图像分割模型和Intel RealSense D405深度相机,把观察环境、移动机械臂、抓取物品等操作整合成了一套通用的标准工具。这个框架把拍照画面和机械臂的实时状态绑定在一起,还支持AI模型在机械臂移动的同时思考下一步动作。

接入这套框架后,开源的Qwen3.8-Flash-Next在RoboDojo模拟测试中的得分从1.90分飙升到了31.39分,超越了闭源模型GPT-6 Astra在旧框架下的28.97分。在包含插试管、抓积木等19项任务的真实双臂机器人测试中,Qwen3.8-Flash-Next在没有经过专门训练的情况下拿到了53.50分,超过了经过10小时数据微调的专用机器人模型π0.5。在成本和速度方面,Qwen3.8-Flash-Next完成单次任务的API花费只需要1.09美元,比GPT-6 Astra的21.29美元便宜了近95%,而且边动边想的流水线模式最多能把任务耗时缩短73.7%。

项目地址:https://t.co/3EXe0djcTt Github:https://t.co/tl2fRWTHg0