阿里通义 MAI-UI 开源通用计算机使用智能体技术栈 OpenGCUA

阿里通义 MAI-UI 团队开源了通用计算机使用智能体完整技术栈「OpenGCUA」：包括 harness、跨设备 SDK、原生 macOS 应用、评测轨迹和参考 agent 实现 开源地址：htt...

阿里通义 MAI-UI 团队开源了通用计算机使用智能体完整技术栈「OpenGCUA」：包括 harness、跨设备 SDK、原生 macOS 应用、评测轨迹和参考 agent 实现 开源地址： github.com/Tongyi-MAI/Ope… # 从"GUI 智能体"到"通用计算机使用智能体" 传统 CUA (Computer Use Agent) 基本等价于"看截图、点按钮"的 GUI 智能体；OpenGCUA 定义的 GCUA (generalist computer-use agent) 是一个能综合调度整台计算机所有接口的智能体：无障碍树、应用 API、shell 命令、GUI 操作。论文将 GCUA 定义为"模型自主决定如何观察、行动并组织工作，跨越视觉与程序化接口的系统"。 具体机制上，GCUA 在每一步做三个由模型而非固定规则决定的决策： 1. 观察什么：按需调用 screenshot()，而不是每步强制截图。这一条很关键：它承认"截图"本身就是一种有成本的感知行为，该省则省（比如执行批量操作时中间过程不需要看）。 2. 如何行动：不是输出单个原子动作，而是写一段带循环和条件判断的 Python 程序，把 GUI 操作、API 调用、shell 命令编排起来。 3. 如何组织工作：模型自己维护 todo 列表，每步声明 intent，任务状态管理从 harness 硬编码逻辑转为模型自主行为。 这两大设计「代码执行（code execution）和 harness 到模型的决策转移（harness-to-model decision transfer）」是整个方法论的支柱。代码执行的巧妙之处在于复用了模型已有的强大编程能力，且循环内的中间结果直接决定下一步代码走向，无需每步都回到模型，这是效率提升的根源。理论上，纯 GUI 智能体、CLI 智能体、GUI+CLI 混合智能体（他们早期的 Qwen-UI-Agent）都成了 GCUA 框架的特例，这个统一视角本身就有理论价值。 # 实验结果：数字说明了什么 在 OSWorld-v2 上对 8 个前沿模型（GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash、GLM-5.3-Flash、Qwen3.8-Max/Flash、Kimi K3、DeepSeek-V4.1-Flash）的评测： · 平均 partial score 从 45.3 升至 64.9（+19.6 分），每任务步数平均减少 53%；GPT-6 Astra 从 102 步降到 34 步。 · 弱模型受益最大（GLM-5.3-Flash +35.2），强弱模型差距从 39.1 缩小到 18.0。这暗示：代码执行范式降低了"代理能力"对模型 GUI 精细操作能力的依赖，弱模型可以靠写程序弥补感知-点击精度不足；对开源生态是个重要信号。 · 代码执行比 GUI+CLI 混合再加 6.1 分、步数再降 14.8%，验证了"编排成程序"优于"交替调用工具"。 · 真机 macOS 测试揭示了一个基准测试掩盖的事实：同一 harness 下，Qwen3.8-Max 消耗的推理 token 是 GPT-6 Astra 的 19.4 倍，4 个任务只完成 3 个；真实设备上的效率差距远大于基准分数所反映的，这也是他们坚持做真机 harness 的动机。 💬 7 🔄 0 ❤️ 4 👀 485 📊 9 ⚡