Nvidia 机器人负责人亲自讲了 VLA 模型的局限:机器人会听指令但不会预判后果,得靠 Cosmos 这类世界模型先模拟再动手。做机器人、具身智能方向的开发者值得听听他的融合路线怎么走。
#世界模型
蔚来的辅助驾驶走的是世界模型路线,和华为、小鹏的端到端方案不太一样。这次 NWM 3.0 重点讲闭环训练和跨域融合,关注智驾技术路线走向的可以先记下 11 月 25 日这场发布会。
做交互式视频或世界模型的开发者可以留意,NVIDIA Research 这套 WorldTrace 不用重训练就能让模型记住回访过的场景,在 LoopBench 上比滑动窗口方法提升 32% 召回率。如果你在搭 Genie 类交互生成管线,这份 NeurIPS 论文的思路可以直接借鉴。
华为云拿昇腾国产算力训出了具身世界模型,在两个榜单上做到SOTA,还打算把整套训练底座开放给开发者。做机器人或具身方向的团队可以省掉自己搭仿真和训练设施的功夫,直接在这套底座上起步。国产芯片跑高难度具身训练这件事本身就值得看看细节。
谷歌把 Genie 4 世界模型放进了 Gemini API 和 AI Studio,开发者可以直接调用来做交互式环境类应用。之前世界模型大多停留在演示阶段,这次真正能写进自己的产品里,想试新交互形态的开发者可以去 ai.studio/genie 玩玩。
Runway 公开了 27B 参数的 Praxis-1 技术报告,视频和动作预测放一个模型里做,跟 Google Genie、World Labs 抢的是同一条世界模型赛道。做视频生成或交互式内容的开发者可以看看它的架构细节。
Google 把 Genie 4 开放到了 AI Studio 和 API,能实时改天气、光照和场景事件。做过游戏原型或模拟环境的开发者可以直接上手测了,比只看视频演示实在得多,去申请个 key 就能试。
医疗 AI 创业公司 Knit Health 拿了 3500 万美元 A 轮,不做单点工具,而是给医院做世界模型当连接层。CEO Jonathan Kolstad 说很多医院已经有兴趣。做医疗信息化或医院采购的人可以看看这条路线和通用大模型方案的区别。
Genie 4 现在能直接在浏览器里玩了:文字或图片生成 720p 世界,WASD 键盘实时操控还带声音。做游戏原型或者想给智能体找仿真环境的开发者可以上手试试,走 WebRTC 延迟不高。
Google 把 Genie 4 直接开放到 Gemini API 和 AI Studio 了,做游戏原型、仿真环境或智能体训练的朋友可以去 ai.studio/genie 试试。这是他们第一个面向开发者的世界模型,玩法和普通视频生成模型很不一样。
Google 把 Genie 4 和升级版 Genie 3 开放给 AI Ultra 订阅用户了,单次能生成 3 分钟的虚拟世界,还能让 Gemini 在里面观察发生的事。做互动内容、游戏原型的朋友可以试试。
这篇论文挺有意思:它从数学上证明普通世界模型天生答不了"换个动作会怎样",然后给出一个零额外数据的修正公式。实验里反事实 R² 直接从四成拉到九成,用的还是 DINOv2 这类现成冻结编码器。做机器人或强化学习的开发者值得认真读,反思机制可以直接套到已有模型上。
搞世界模型或游戏生成的可以看看这篇:WorldRuler用3D规则图把规则执行和视频生成接成闭环,存档读档不丢状态,规则还能作用到还没出现的物体上。数据集是用GTA-V和Habitat自动标注出来的,复现路径比较清晰。
Google DeepMind 把 Genie 4 开放进 Project Genie 了,能生成带声音的交互式虚拟世界,还能实时改。做游戏原型或者世界模型方向的朋友可以直接上手玩玩看。
Google 的世界模型从预览转正了,Genie 4 能边玩边改世界,打字就能换天气加角色,还带音频。有 AI Ultra 订阅的可以直接试试,Pro 用户去排队。跟 Sora 那种只能生成视频不同,这个是真能实时交互的。
DeepMind 把世界模型系列更新到了 Genie 4 并正式开放使用,做游戏、仿真或 Agent 训练环境的人可以点进博客看访问方式和申请条件,别错过这篇一手信息。
如果你一直想玩交互式世界生成,Ginie 4 现在放出了一部分名额,单次能跑 3 分钟,比大多数几秒出片的工具长得多。有 Ultra 订阅的话可以去看看自己有没有收到入口,没订阅的可以等后续扩大范围。
Google DeepMind 给 Project Genie 换上 Genie 4,生成的 3D 世界能用文字实时改,还首次带声音。做游戏原型或交互内容的开发者可以看看 AI Ultra 订阅能不能用上,社区画廊还能直接改编别人的世界。
Google 把 Genie 4 开放进 Project Genie,AI Ultra 订阅用户就能玩。最大亮点是边探索边打字改场景、加角色,音频还能实时跟上,跟 Sora 那种生成完就定死的视频完全不一样。喜欢世界模型和交互式体验的可以上手试试。
DeepMind 把实时物理、推理和音频塞进了 Genie 4 这一个世界模型,还能嵌套生成模拟。Ultra 订阅用户直接在 Project Genie 里就能玩,比之前 Genie 系列只放演示视频实在多了。做游戏、仿真或交互内容的人应该去看看博客里的技术细节。
OpenAI 这次一下发了两个新模型,还顺手用 Astra 把整个巴黎按真实地图数据建成了能走路、能开车的虚拟城市,浏览器打开就能逛。做游戏、数字孪生的开发者可以重点看看这套世界生成的思路。
做世界模型评估的人应该看看这篇:2,853 个模型跑下来,证明平时看的预测精度在比较同一模型不同版本时可能完全失灵,甚至会反转到 -0.69。更有用的是它发现注入几条定价规则比 JEPA 预训练管用,零售和制药场景的实验设计可以直接套用。
这篇论文把背景车策略、3DGS渲染和信号灯模拟拧成了一个闭环,专攻自动驾驶仿真里'行为假、画面糊'的老毛病。比现有世界模型行为差异降85%、PSNR高2dB,做自动驾驶仿真评测的团队和端到端规划研究者很该看看。
李沐居然去了一家做产业级世界模型的公司,名字叫Aimotion。如果你关注世界模型这个方向,这篇文章能帮你搞清楚这家公司是干嘛的、和李沐之前的经历怎么衔接,跟Genie、Cosmos那些路线有啥区别。
蚂蚁开源的 Duo 和常见数字人管线不是一回事:它把'什么时候说话'的决策做进了模型本身,Intent 每 0.7 秒判断开口或等待,Realization 再同步生成音视频。做虚拟陪伴、游戏 NPC 或实时交互的开发者可以拉下来跑跑,看看这套范式比对话树方案顺滑多少。
如果你的机器人要在长时程任务里从技能库中挑动作,这篇论文给了一条提速路子:用学习型世界模型毫秒级预筛候选技能,仿真只花在刀刃上,比 MOSAIC 全量仿真省得多,成功率还不掉。做操作规划的工程团队可以看看。
用手就能直接操控视频世界模型,不再只靠文字和镜头指令。单张 H200 跑到 18 FPS、延迟 741ms,还能实时交互。做具身智能、交互仿真或者世界模型研究的开发者值得关注,代码和数据都会开源。
做自监督或世界模型的人应该看看这篇。JEPA 训练时表示崩溃很常见,SADL 不加参数、不改架构,只用一个供需匹配的约束就把崩溃率从 50% 压到 0%,有效秩提升好几倍。如果你在用 LeWM 或 INTACT 这类框架,可以直接对照复现。
这篇论文解决了自动驾驶世界模型的一个真问题:训练数据没覆盖的场景模型会瞎猜。它靠专家标注别人造成的故障来离线扩展覆盖,CARLA 和 MetaDrive 上的闭环成绩都是对比方法里最高的。做自动驾驶规划或闭环仿真的开发者值得把方法部分细看。
UC Berkeley 出来的 Knit Health 拿了 NEA 领投的 3500 万美元,还发了 Med-BEAM。它学的不是病历文字,而是数亿次真实诊疗决策的时序,做患者轨迹预测,方向和文本类医疗模型很不一样。做医疗 AI 的人可以看看这条路能不能落地。
做机器人或自动驾驶的朋友可以关注下,NVIDIA 的 Cosmos 世界模型在 HuggingFace 已经被下载 2000 万次了,说明不少团队真拿它来生成训练数据,权重开放,能直接下载微调。
Nvidia 机器人负责人亲口给出时间表,说物理 AI 的爆发就在 1-3 年内。他聊了仿真训练、世界模型和人形机器人到底有没有必要,想做机器人方向或判断硬件投资时机的都该听听。
Nvidia 负责机器人的副总裁上播客聊了为什么机器人几年内会有 ChatGPT 时刻,核心是智能体加世界模型加仿真这条路。做机器人和具身智能的朋友可以直接听一手观点,省去翻报告的时间。
这条值得看:华为云亮出底牌,80% 国内具身智能公司都在用昇腾训练。新模型 CloudRobo-WM1.2 在 RoboTwin 2.0 和 Libero Pro 2.0 都是第一。做机器人、想搞国产算力方案的人重点看数据。
传统数值预报靠昂贵的数据同化系统起步,这篇论文直接从原始观测学到同化和预报的完整循环,GEFS 都被它比下去了。做气象 AI 或数据同化的人值得看看它怎么把滤波循环塞进世界模型里,单 GPU 跑全球分析这个效率也很打动人。
Momenta R7 世界模型要装进上汽奥迪 E7X 了,12 月 OTA 就能升级。车位到车位 0 断点、窄路倒车避让这些功能都搬上来了,Momenta 的行车避让还是车企首秀。关注智驾上车节奏和高端品牌合作模式的可以看看。
Runway 新发的 Praxis-1 用 27B 参数的 MoE 扩散架构,把视频画面和动作预测合成一个模型,走的是世界模型路线。做具身智能或交互式内容的开发者可以直接看它公开的技术报告,里面写了架构和训练细节。
李飞飞的 World Labs 把世界模型开放出来了,一句话就能生成可自由探索的 3D 场景,和 Sora 那种生视频不一样,生成的是真的能走进去的环境。做游戏原型或 VR 内容的可以亲自试试。
做 model-based RL 或 active inference 规划的人该看看。它用 CARLA 里的探针实验证明想象 rollout 会悄悄丢掉障碍物信息,而且 ensemble 不确定性完全察觉不到,0.52 的 AUC 就是随机水平。这种可测量的诊断思路比单纯刷分有用。
ACE Robotics 把 Mundo 世界模型和机上技能拼成了一套酒店洗衣机器人,失败案例能反哺技能改进,单轮 18.6 秒。想看世界模型怎么在真实场景落地的,这篇比纯实验室 demo 有参考价值,做具身智能的可以细看。