模型86°

Google DeepMind 发布 Genie 4:一句话生成带声音和对话的可交互 3D 世界

精选理由

Google DeepMind 的 Genie 4 一句话就能生成能走进去的 3D 世界,声音和对话也一起生成,不用后期配音,做游戏原型和机器人训练的可以关注。

10 月 27 日 Google DeepMind 发布 Genie 4,官方称其为最真实、最可交互的世界模型,一句 prompt 就能实时生成可进入的 3D 世界。画面、环境音、人物对话在同一次生成中产出,无需后期配音。Gemini 3.8 Flash 在循环中充当导演,负责拆解目标、逐帧验收并响应中途干预;官方演示里 Gemini 4 Argon 与 Genie 4 配合,模拟 Apptronik 的 Apollo 人形机器人下跳棋。目前仅向 trusted testers 开放研究预览,后续会进入 Google AI Ultra 的 Project Genie、Gemini API 和 AI Studio 的 early access。官方也承认短板:长时间运行后细节和物体恒常性会漂移,复杂物理与音频准确度仍在研究中。

原文 · berryxia

快来看,Google DeepMind 这次给世界模型装上了声带。

10 月 27 日,Google DeepMind 发布 Genie 4,官方说法是「最真实、最可交互」的世界模型:一句 prompt 就能生成一个能实时走进去的 3D 世界,画面、环境音、人物对话是同一次生成出来的。

关键在「同时」。

Genie 4 原生多模态,音乐、环境噪声、可交互对话跟场景一起出,不用后期配音。

人也不再是会动的道具,你启动一个事件,它自己往下演:场景怎么回应、听起来什么声、里面的人怎么动、怎么反应、怎么说话。

具体能力上,Gemini 3.8 Flash 在循环里当导演:观察画面、把目标拆成步骤、逐帧验收,你中途插手它就现场改计划。

Gemini Omni 负责把世界锚定在真实的观感和行为上。 所以它能演多步因果,官方演示里是 Gemini 4 Argon 和 Genie 4 配合,模拟 Apptronik 的 Apollo 人形机器人下跳棋。

获取方式上:现在只是 trusted testers 的研究预览,随后会进 Google AI Ultra 的 Project Genie,以及 Gemini API 和 AI Studio 的 early access,waitlist 已开。生成内容全带 SynthID 水印。

短板官方写得挺老实:跑久了细节和物体恒常性会漂,反复改提示、长时间导航后更明显; 复杂物理、音频准确度、画面文字、空间精度都还在研究。

距 Genie 3 一年多,这次真正的信号不是画质,是它往 hybrid world model 走:Gemini 管结构和叙事,Genie 管像素级的物理现实。

做预演、游戏原型、机器人训练环境的,可以去排队了。