浏览器 Agent 技巧:用 Chrome 无障碍树替代截图定位按钮
browser_use 教你让浏览器 Agent 不走截图找按钮,直接用 CDP 读无障碍树定位元素,Hacker News 实测零视觉 token,做 Agent 的可以试试。
browser_use 分享一个浏览器 Agent 技巧:通过 CDP 调用 Accessibility.getFullAXTree,获取每个元素的 role、name 和 node id。过滤出链接、按钮、输入框后,再用 DOM.getBoxModel 计算坐标并点击中心点。在 Hacker News 页面上实测:1,764 个节点过滤到 227 个可点击元素,消耗零视觉 token。browser-use 的 Browser Harness agents 已采用这种方式。
little browser agent hack: stop sending screenshots to find buttons. ask Chrome for the accessibility tree: cdp("Accessibility.getFullAXTree") > every element with role, name and node id > filter to links, buttons, inputs > DOM.getBoxModel -> click the center on Hacker News: 1,764 nodes -> 227 clickable, zero vision tokens Browser Harness agents work this way: github.com/browser-use/br… 💬 3 🔄 1 ❤️ 11 👀 748 📊 5 ⚡