产品

港大开源手机 Agent PhoneGo:CLI+GUI 混合执行,可装 Android 直接用自然语言操作 App

精选理由

港大开源的 PhoneGo 把手机 Agent 做成了 CLI+GUI 混合模式,熟悉的操作直接跑命令,比纯视觉方案省一半时间和 Token。做移动端 Agent 的开发者值得拿它对比 Mobile-Agent 这类方案,普通用户装个 APK 就能试跨 App 任务。

香港大学团队开源了手机 Agent 项目 PhoneGo,面向 Android 14+、ARM64 设备,提供 APK 直接安装,可用自然语言指挥 AI 跨 App 完成任务,例如先在小红书搜索香港大学附近的酒店,再切换到携程查询同一家酒店当晚房价并汇总结果。

正文

它的核心是 CLI+GUI 混合执行架构:先离线探索目标 App,把页面和导航路径编译成 App Navigation Map 与可执行命令;在线执行时优先调用已知命令直接操作,只有遇到未知页面、动态内容或异常状态才让视觉模型接管识别屏幕并点击、滑动。App 运行在虚拟屏幕中,不影响用户同时使用手机。

相比纯视觉方案的手机 Agent,PhoneGo 将操作步骤减少 47%、执行耗时减少 56%、Token 消耗减少 55%。部署需自备模型 API Key,通过无线调试和无障碍服务驱动手机,大部分任务可后台执行。

原文 · AIGCLINK

港大又出新项目,刚开源了一个跑在手机上的Agent,直接装Android上,用自然语言让AI帮你操作各种App

无需电脑,也不用每一步都截图让模型猜怎么操作

叫PhoneGo,比如说,你让它去小红书找一家香港大学附近的酒店,然后再到携程查询当晚价格

它就会先搜小红书笔记、提取酒店名称,再切换携程搜索同一家酒店,查询可订日期和房价,最后把结果反馈给你

全程无需你逐步指导它打开哪个App、点哪个按钮,App被藏在虚拟屏幕里驱动,不影响你自己用手机

比纯视觉手机Agent,操作步骤减少了47%、执行耗时减少了56%、Token消耗减少了55%

核心是CLI+GUI混合执行,已知的App操作路径直接调用命令,遇到陌生界面才让视觉模型接管

它的工作流程是:离线探索App,建立App Navigation Map,把页面和导航路径编译成可执行命令

在线执行任务,AI理解用户意图,优先调用已有命令,直接执行熟悉的操作流程

然后视觉兜底,遇到未知页面、动态内容或者异常状态,再通过视觉模型识别屏幕、点击、滑动

跨App协作,把一个应用获取的信息传递给另一个应用,完成连续任务

目前支持Android 14+、ARM64,提供APK可直接安装;需自备模型API Key,通过无线调试和无障碍服务操作手机,大部分任务可后台执行

#PhoneGo #PhoneAgent #手机AI

产业坐标与信源核验

本条情报归属 AITOP「产品」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:PhoneGo、Android、手机Agent、开源模型,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「AIGCLINK」(@aigclink),经 AITOP 多维评分管线结构化提炼。