Vercel 推出 agent-desktop：用无障碍树替代截图控制桌面应用
Vercel 新出的这个 agent desktop 思路很有意思，https://t.co/ouWngpDjHn 也是一个类似 computer use 的产品，用来自动化控制桌面应用。 假如记得...
Vercel 又出了个 agent-desktop，不靠截图识别，直接读系统无障碍树来操控桌面软件，比 computer use 类方案省 token 也更快，可以试试。
Vercel 发布了 agent-desktop（agent-browser.dev/desktop），用于自动化控制桌面应用。Codex 的 computer use 等同类产品走截图加 vision 识别路径，token 消耗大且速度慢。agent-desktop 改为读取操作系统的无障碍树，返回带 refs 的 JSON 快照，Agent 通过 ref 操作后再重新读取验证。作者认为该方案在识别精度上不如视觉识别，但速度和 token 成本更优，思路与其此前推出的 agent-browser 一致。
Vercel 新出的这个 agent desktop 思路很有意思，https://t.co/ouWngpDjHn 也是一个类似 computer use 的产品，用来自动化控制桌面应用。 假如记得...
Vercel 新出的这个 agent desktop 思路很有意思， agent-browser.dev/desktop 也是一个类似 computer use 的产品，用来自动化控制桌面应用。 假如记得没错的话，codex 的 computer use 以及一系列类似的产品都是走截图加 vision 识别的操作过程，这样就比较费 token 而且速度比较慢。 agent-desktop 换成了读取操作系统的无障碍树，返回带 refs 的 JSON 快照，Agent 用 ref 操作，再重新读取验证，速度快 而且节省 token，效果怎么样，我还没有测，肯定没有视觉识别准，但是假如速度快也是完全可以试一下的，之后我会做一些测试。 和之前他们出的 agent-browser 思路是一模一样的，agent-browser 我现在还在用，是我很喜欢的一个工具。 💬 16 🔄 9 ❤️ 79 👀 14034 📊 47 ⚡
