产品

谷歌 macOS 版 Gemini 推出电脑操控功能,可跨应用执行多步骤任务

谷歌 Gemini 现可直接操作苹果 Mac 电脑,可跨应用操作、制作 PPT、填写表单

精选理由

谷歌把 Anthropic 和 OpenAI 都在做的电脑操控能力搬到了 Mac 上,Gemini 能在后台窗口自己点鼠标填表单,权限粒度还能逐应用设置。搞自动化或被重复操作折磨的人可以关注,订阅门槛和地区限制记得先看清。

11 月 19 日,谷歌为 macOS 版 Gemini 应用推出“Computer Use”功能,允许 AI 直接操作 Mac 桌面应用、访问本地文件并浏览网页,独立完成多步骤任务,目前面向美国地区英语用户逐步开放。用户用自然语言描述任务后,Gemini 可在不同应用间切换,执行点击、输入、填写表单和操作菜单等动作,官方示例包括从本地 PDF 提取信息填写在线表单、根据实时数据制作演示文稿、批量处理照片等。

正文

运行机制上,Gemini 在独立后台窗口执行任务,不占用主屏幕和鼠标光标,聊天界面显示实时操作预览,用户可随时暂停或停止,关键操作需事先确认。权限上用户可逐个指定允许访问的应用。功能要求 Apple Silicon 芯片、macOS Sequoia 15.0 或更新版本,年满 18 岁且订阅 Google AI Plus、Pro 或 Ultra。

发布时机恰逢苹果调整 macOS 权限管理:macOS 27.3 Beta 2 已把设备控制与数据访问拆分为独立权限项,并允许按应用指定可控程序,还将在菜单栏显示控制提示标识。据 The Verge 报道,这一调整与 AI 智能体带来的安全风险有关,但早于 Gemini 功能发布,并非临时回应。

原文 · IT之家

谷歌 Gemini 现可直接操作苹果 Mac 电脑,可跨应用操作、制作 PPT、填写表单

IT之家 11 月 20 日消息,当地时间 11 月 19 日,谷歌宣布为 macOS 版 Gemini 应用推出全新的“电脑操控”(Computer Use)功能,允许 AI 直接操作 Mac 上的桌面应用、访问本地文件及浏览网页,独立完成多步骤任务(IT之家注:该功能目前面向美国地区的英语用户逐步开放)。 根据谷歌官方介绍,用户只需通过自然语言描述任务,Gemini 就能在不同应用之间切换,执行点击、输入文字、填写表单及操作菜单等任务。 谷歌列举的应用场景包括批量处理照片、从本地 PDF 文件提取信息并填写在线表单、根据实时数据制作演示文稿,以及整理商品信息并在二手交易平台上架销售等。 在具体运行方式上,Gemini 会在独立的后台窗口中执行任务,不会占用用户当前的主屏幕和鼠标光标。聊天界面内还会显示实时操作预览,用户可以随时查看 AI 的执行过程,并暂停或停止任务。对于关键操作,Gemini 还会要求用户事先确认。 权限管理方面,用户可以自行选择允许 Gemini 访问的应用程序,而不是直接向 AI 开放整个电脑的操作权限。 谷歌表示,该功能需要搭载 Apple Silicon 芯片、运行 macOS Sequoia 15.0 或更新版本的 Mac,同时要求用户年满 18 岁并使用符合条件的个人 Google 账号及 Google AI Plus、Pro 或 Ultra 订阅。 谷歌推出这项功能的时间,恰逢苹果着手调整 macOS 的应用权限管理机制。 据苹果 11 月 16 日发布的开发者公告,macOS 27.3 Beta 2 已引入针对设备控制、数据访问和完全磁盘访问权限(Full Disk Access)的调整。新系统将原有的设备控制与数据访问设置拆分为不同权限选项,允许用户指定应用可以控制的具体程序或访问的文件夹,并提供每次请求权限时都需要用户确认的选项。 苹果还将增加透明度提示,当某个应用通过相关权限控制其他应用时,系统会在菜单栏显示提示标识。苹果表示,授予应用完全磁盘访问权限可能使 Mac 上的各类数据面临风险,因此希望通过更细致的权限设置,让用户清楚了解应用能够访问和控制的内容。 据 The Verge 报道,苹果此次调整与 AI 智能体日益普及所带来的安全风险有关。不过,苹果的相关权限调整早于谷歌此次发布 Gemini 电脑操控功能,并非针对这款应用临时作出的回应。

产业坐标与信源核验

本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Gemini、Google、Mac、Computer Use,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「IT之家」,经 AITOP 多维评分管线结构化提炼。

谷歌 macOS 版 Gemini 推出电脑操控功能,可跨应用执行多步骤任务|AI热报