#世界模型

共 429 条 · 7 天 36 条 · 30 天 123 条
信息流里打上「世界模型」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月22日
模型Agent 与开发者多源确认01:09
Nvidia 副总裁 Deepu Talla:机器人不能只懂指令,还需预测行动后果

Nvidia 机器人负责人亲自讲了 VLA 模型的局限:机器人会听指令但不会预判后果,得靠 Cosmos 这类世界模型先模拟再动手。做机器人、具身智能方向的开发者值得听听他的融合路线怎么走。

事件专题
The Information@theinformation原文
11月21日
论文Agent 与开发者多源确认精选01:03
NVIDIA Research 发布 WorldTrace:让交互式视频世界模型记住去过的场景

做交互式视频或世界模型的开发者可以留意,NVIDIA Research 这套 WorldTrace 不用重训练就能让模型记住回访过的场景,在 LoopBench 上比滑动窗口方法提升 32% 召回率。如果你在搭 Genie 类交互生成管线,这份 NeurIPS 论文的思路可以直接借鉴。

事件专题
官方账号NVIDIA AI@NVIDIAAI原文
11月20日
华为云用昇腾算力训出双榜SOTA具身世界模型,计划开放整套底座

华为云拿昇腾国产算力训出了具身世界模型,在两个榜单上做到SOTA,还打算把整套训练底座开放给开发者。做机器人或具身方向的团队可以省掉自己搭仿真和训练设施的功夫,直接在这套底座上起步。国产芯片跑高难度具身训练这件事本身就值得看看细节。

事件专题
量子位@田, 晏林原文
产品Agent 与开发者官方一手72°06:06
谷歌世界模型 Genie 4 开放 Gemini API 与 AI Studio 访问

谷歌把 Genie 4 世界模型放进了 Gemini API 和 AI Studio,开发者可以直接调用来做交互式环境类应用。之前世界模型大多停留在演示阶段,这次真正能写进自己的产品里,想试新交互形态的开发者可以去 ai.studio/genie 玩玩。

官方一手歸藏(guizang.ai)@op7418原文
Knit Health 获 3500 万美元 A 轮融资,开发医疗行业世界模型

医疗 AI 创业公司 Knit Health 拿了 3500 万美元 A 轮,不做单点工具,而是给医院做世界模型当连接层。CEO Jonathan Kolstad 说很多医院已经有兴趣。做医疗信息化或医院采购的人可以看看这条路线和通用大模型方案的区别。

Healthcare Dive@Rebecca Pifer Parduhn原文
Google 在 Gemini API 与 AI Studio 中上线 Genie 4 世界模型

Google 把 Genie 4 直接开放到 Gemini API 和 AI Studio 了,做游戏原型、仿真环境或智能体训练的朋友可以去 ai.studio/genie 试试。这是他们第一个面向开发者的世界模型,玩法和普通视频生成模型很不一样。

官方账号Logan Kilpatrick@OfficialLoganK原文
11月19日
JEPA 世界模型学会回答"如果当初":反事实推理无需反事实数据

这篇论文挺有意思:它从数学上证明普通世界模型天生答不了"换个动作会怎样",然后给出一个零额外数据的修正公式。实验里反事实 R² 直接从四成拉到九成,用的还是 DINOv2 这类现成冻结编码器。做机器人或强化学习的开发者值得认真读,反思机制可以直接套到已有模型上。

arXiv cs.AI@Randall Balestriero 等 3 人原文
WorldRuler提出可配置规则驱动的交互式世界模型框架

搞世界模型或游戏生成的可以看看这篇:WorldRuler用3D规则图把规则执行和视频生成接成闭环,存档读档不丢状态,规则还能作用到还没出现的物体上。数据集是用GTA-V和Habitat自动标注出来的,复现路径比较清晰。

arXiv cs.AI@Mingliang Zhai 等 9 人原文
Google Genie 4 支持探索中实时输入新提示词并同步生成音频

Google 把 Genie 4 开放进 Project Genie,AI Ultra 订阅用户就能玩。最大亮点是边探索边打字改场景、加角色,音频还能实时跟上,跟 Sora 那种生成完就定死的视频完全不一样。喜欢世界模型和交互式体验的可以上手试试。

Sundar Pichai@sundarpichai原文
Google DeepMind 发布交互式世界模型 Genie 4,Ultra 订阅用户可抢先体验

DeepMind 把实时物理、推理和音频塞进了 Genie 4 这一个世界模型,还能嵌套生成模拟。Ultra 订阅用户直接在 Project Genie 里就能玩,比之前 Genie 系列只放演示视频实在多了。做游戏、仿真或交互内容的人应该去看看博客里的技术细节。

官方账号Demis Hassabis@demishassabis原文
模型中美对照多源确认00:48
OpenAI 发布 GPT-6.2 Sol 与 6.2 Astra,并用 Astra 生成可漫游的虚拟巴黎 Paris Atlas

OpenAI 这次一下发了两个新模型,还顺手用 Astra 把整个巴黎按真实地图数据建成了能走路、能开车的虚拟城市,浏览器打开就能逛。做游戏、数字孪生的开发者可以重点看看这套世界生成的思路。

事件专题
Techsauce@ Techsauce Team 原文
11月18日
arXiv 论文提出测试世界模型泛化能力的方法:以零售定价为实验场景

做世界模型评估的人应该看看这篇:2,853 个模型跑下来,证明平时看的预测精度在比较同一模型不同版本时可能完全失灵,甚至会反转到 -0.69。更有用的是它发现注入几条定价规则比 JEPA 预训练管用,零售和制药场景的实验设计可以直接套用。

arXiv cs.LG@Karthik Iyer原文
面向自动驾驶的闭环交互式世界模型,行为差异降低85%

这篇论文把背景车策略、3DGS渲染和信号灯模拟拧成了一个闭环,专攻自动驾驶仿真里'行为假、画面糊'的老毛病。比现有世界模型行为差异降85%、PSNR高2dB,做自动驾驶仿真评测的团队和端到端规划研究者很该看看。

arXiv cs.AI@Jia Hu 等 7 人原文
蚂蚁开源 Duo:把交互决策放进世界模型的双向数字人框架

蚂蚁开源的 Duo 和常见数字人管线不是一回事:它把'什么时候说话'的决策做进了模型本身,Intent 每 0.7 秒判断开口或等待,Realization 再同步生成音视频。做虚拟陪伴、游戏 NPC 或实时交互的开发者可以拉下来跑跑,看看这套范式比对话树方案顺滑多少。

AIGCLINK@aigclink原文
11月17日
Lazy-MOSAIC:用学习到的技能效果世界模型加速机器人操作规划

如果你的机器人要在长时程任务里从技能库中挑动作,这篇论文给了一条提速路子:用学习型世界模型毫秒级预筛候选技能,仿真只花在刀刃上,比 MOSAIC 全量仿真省得多,成功率还不掉。做操作规划的工程团队可以看看。

arXiv cs.AI@Itamar Mishani 等 4 人原文
LynnReal-Hand:用手部动作直接操控的交互式视频世界模型

用手就能直接操控视频世界模型,不再只靠文字和镜头指令。单张 H200 跑到 18 FPS、延迟 741ms,还能实时交互。做具身智能、交互仿真或者世界模型研究的开发者值得关注,代码和数据都会开源。

事件专题
arXiv cs.AI@Shaohao Rui 等 4 人原文
SADL 提出供需匹配约束,将 JEPA 表示崩溃率从 50% 降到 0%

做自监督或世界模型的人应该看看这篇。JEPA 训练时表示崩溃很常见,SADL 不加参数、不改架构,只用一个供需匹配的约束就把崩溃率从 50% 压到 0%,有效秩提升好几倍。如果你在用 LeWM 或 INTACT 这类框架,可以直接对照复现。

arXiv cs.LG@Junhan Sun 等 10 人原文
论文13:08
SAFER 框架破解自动驾驶世界模型规划的探索-利用难题

这篇论文解决了自动驾驶世界模型的一个真问题:训练数据没覆盖的场景模型会瞎猜。它靠专家标注别人造成的故障来离线扩展覆盖,CARLA 和 MetaDrive 上的闭环成绩都是对比方法里最高的。做自动驾驶规划或闭环仿真的开发者值得把方法部分细看。

arXiv cs.AI@Yansong Qu 等 5 人原文
UC Berkeley 衍生公司 Knit Health 获 NEA 领投 3500 万美元 A 轮融资,发布医疗世界模型 Med-BEAM

UC Berkeley 出来的 Knit Health 拿了 NEA 领投的 3500 万美元,还发了 Med-BEAM。它学的不是病历文字,而是数亿次真实诊疗决策的时序,做患者轨迹预测,方向和文本类医疗模型很不一样。做医疗 AI 的人可以看看这条路能不能落地。

HIT Consultant@Jasmine Pennic原文
行业Agent 与开发者多源确认04:01
Nvidia 机器人副总裁 Deepu Talla:机器人的 ChatGPT 时刻或在 1-3 年内到来

Nvidia 机器人负责人亲口给出时间表,说物理 AI 的爆发就在 1-3 年内。他聊了仿真训练、世界模型和人形机器人到底有没有必要,想做机器人方向或判断硬件投资时机的都该听听。

事件专题
The Information@theinformation原文
行业Agent 与开发者多源确认03:30
Nvidia 副总裁 Deepu Talla 谈机器人何时迎来 ChatGPT 时刻

Nvidia 负责机器人的副总裁上播客聊了为什么机器人几年内会有 ChatGPT 时刻,核心是智能体加世界模型加仿真这条路。做机器人和具身智能的朋友可以直接听一手观点,省去翻报告的时间。

事件专题
The Information@theinformation原文
11月16日
WeatherDreamer:从多模态地球观测中端到端学习天气世界模型

传统数值预报靠昂贵的数据同化系统起步,这篇论文直接从原始观测学到同化和预报的完整循环,GEFS 都被它比下去了。做气象 AI 或数据同化的人值得看看它怎么把滤波循环塞进世界模型里,单 GPU 跑全球分析这个效率也很打动人。

arXiv cs.LG@Kate Duffy 等 5 人原文
11月14日
11月13日
模型Agent 与开发者多源确认精选23:49
Runway 发布 Praxis-1:27B 参数 MoE 扩散 Transformer 联合预测视频与动作

Runway 新发的 Praxis-1 用 27B 参数的 MoE 扩散架构,把视频画面和动作预测合成一个模型,走的是世界模型路线。做具身智能或交互式内容的开发者可以直接看它公开的技术报告,里面写了架构和训练细节。

事件专题
官方账号Runway ML@runwayml原文
产品Agent 与开发者官方一手10:36
ACE Robotics 用 Mundo 世界模型让机器人完成酒店洗衣全流程

ACE Robotics 把 Mundo 世界模型和机上技能拼成了一套酒店洗衣机器人,失败案例能反哺技能改进,单轮 18.6 秒。想看世界模型怎么在真实场景落地的,这篇比纯实验室 demo 有参考价值,做具身智能的可以细看。

官方一手Pandaily@[email protected] (Pandaily)原文