GUI代理相关 AI 资讯 · AITOP · AI热报

8月27日

09:25

09:25

官方账号arXiv cs.AI@Weiming Li, Helen Paik, Yulei Sui

现代GUI代理框架使用前沿API模型实现强大的桌面任务性能，但持续的控制系统信息通常隐含在增长的交互轨迹中。使用Qwen3.5-9B替换GPT-5将OSWorld SR-100的平均值从60.9%降低到37.7%。LocalLSTC通过时间范围组织控制，维护跨步骤的持续状态来指导短期执行承诺。使用Qwen3.6-27B，LocalLSTC在OSWorld上达到64.7%的SR-100，在WindowsAgentArena上达到65.3%，优于两个基准测试上的先前本地结果。

论文 LocalLSTC 长期短期控制 GUI代理

推荐理由：LocalLSTC通过时间组织控制信息，显著提升了本地GUI代理的性能，值得研究。

7月29日

11:59

11:59

官方账号arXiv cs.AI@Abhishek Pillai, Samir Kumar Nayak, Yuan Chen

Desktop-Delta Bench (DDB) 是一个离线步骤级基准，包含2,013个人工验证的实例，覆盖约15个应用和50个任务域。DDB通过463个三帧时序排序实例（含105个跨轨迹干扰）和1,550个前后对比对来评估模型。在8个闭源和开源模型家族、32个排序和16个单动作设置中，最佳非干扰和干扰精确匹配率分别为65.1%和65.7%。单动作结果显示，推断动作类型比定位更难：点击F1为0.96，拖拽为0.76。DDB填补了GUI定位与最终任务成功之间的诊断空白。

论文 Desktop-Delta Bench 计算机使用模型 GUI代理

推荐理由：想测试你的桌面Agent到底能不能分清操作后的界面变化？这个新基准有2000多个真实案例，能看出模型在哪类失败上翻车。

7月3日

04:57

04:57

官方一手marktechpost@Asif Razzaq

阿里巴巴推出Page Agent，这是一个在网页内运行的JavaScript GUI代理。它能将实时DOM读取为文本，然后通过自然语言指令执行点击和输入操作，无需截图、多模态模型或后端重写。该工具直接在浏览器端运行，降低了自动化门槛。

AI产品 Page Agent Alibaba 自然语言

推荐理由：阿里开源了一个直接在浏览器里用的智能体，用自然语言就能操控网页，不用截图和复杂模型。

7月2日

18:01

18:01

官方一手pandaily@contact@pandaily.com (Pandaily)

精选

清华大学团队发布GUICrafter，一个无需人工标注即可通过免费网页截图训练的GUI智能体。在AITW基准上，GUICrafter仅使用1/1000的标注数据即可匹配顶级模型如AppAgent和SeeAct的性能。其核心创新包括元任务设计和高斯奖励函数，将截图中的视觉信息转化为有效训练信号。

AI模型 GUICrafter 清华大学 GUI代理

推荐理由：清华用免费截图就训出顶级GUI智能体，标注量只有别人的千分之一，成本和效率都甩开一大截。