AITOPAI热报

世界模型

共 186 条相关 AI 资讯
6月16日
10:51
10:51官方一手arXiv: Google DeepMind@Junjian Zhang, Hao Tan, Ruonan Li, Dong Zhu, Aiping Li, Zhaoquan Gu
ARB4WM提出一个统一的评估框架，用于测试世界模型在视觉扰动下的对抗鲁棒性。该框架定义了五个白盒损失目标，涵盖策略、价值和潜在动力学三个层面。在MetaWorld和DeepMind Control Suite的20个任务上评估了四种Dreamer-style代理。结果显示，针对值估计、潜在表示和RSSM动力学的攻击与直接策略破坏同等有害，早期或频繁扰动尤其严重。代码已开源并提供使用接口。
AI模型ARB4WMDreamer世界模型
推荐理由：想检验你的世界模型扛不扛揍？ARB4WM这个新基准专门测视觉扰动下的鲁棒性，比单看动作空间全面多了。
原文
6月15日
11:12
6月14日
21:58
6月12日
07:02
6月10日
13:03
13:03官方账号arXiv cs.AI@Fabio Rovai
精选
论文发现一个反直觉的失败模式：即使有足够观测和干预数据，强预测器在识别反事实世界之间的耦合时也会崩溃为单点，而真实值是一个数据无法缩小的可接受区间。作者提出将世界模型建模为可接受世界上的正半定耦合核，其对角线是普通后验（预测器能恢复的），非对角线是跨世界耦合（预测器无法恢复的）。该耦合核可以被边界约束、通过逻辑结构收紧、并通过针对性约束学习来缩小差距。论文提供了完整的理论框架，并指出完全重建该核在Sly-Sun阈值以下是可处理的，以上则不可近似。
论文因果推断反事实推理世界模型
推荐理由：这篇论文戳破了“数据足够就能预测一切”的常见假设，做因果推断、反事实推理或世界模型研究的开发者会看到理论上的新边界——原来预测器天生缺失跨世界耦合信息，而WorldKernel给出了补全它的数学框架，值得细读。
原文
01:15
6月9日
13:11
13:11官方账号arXiv cs.LG@Wayne King, Zeyue Xue, Yuxuan Bian, Jie Huang, Haoran Li, Yaowei Li, Yaofeng Su, Yuming Li, Haoyu Wang, Shiyi Zhang, Songchun Zhang, Yuwei Niu, Sihan Xu, Junhao Zhuang, Haoyang Huang, Nan Duan
Echo-Memory 是一项针对动作条件世界模型中记忆机制的受控研究。这类模型根据首帧、文本提示和相机动作序列生成多段视频，但其主要失败点往往是记忆而非局部图像合成：当相机离开再返回时，场景或关键物体可能悄然改变。现有记忆设计难以比较，因为增益与骨干网络、训练、检索和评估差异纠缠不清。Echo-Memory 固定了动作到视频的接口，仅改变历史信息的存储和读取方式，在共享的视频扩散骨干、优化器、相机动作表示、采样器和评估流程下，比较了原始上下文、基于压缩的记忆、不同读取路径的空间摘要以及状态空间循环。研究通过三分支协议（回放质量、域内循环重访和开放域返回探测）评估记忆，发现回放保真度不足以作为记住世界的代理指标。主要结论包括：原始上下文是强大的容量基线，能显著提升开放域返回性能；紧凑性不能替代容量；块状状态空间循环是最强的开放域返回机制。
论文世界模型记忆机制视频生成
推荐理由：做视频生成或世界模型研究的团队，这篇论文帮你拆解了记忆机制中容量、压缩、读取和循环四个关键维度，看完能直接指导你的模型设计。
原文
13:07
13:07官方账号arXiv cs.AI@Jisong Cai, Long Ling, Shiwei Chu, Zhongshan Liu, Jiayue Kang, Zhixuan Liang, Wenjie Xu, Yinan Mao, Weinan Zhang, Xiaokang Yang, Ru Ying, Ran Zheng, Yao Mu
AHA-WAM是一种基于双扩散Transformer（DiT）架构的异步世界-动作模型，用于机器人操控。它通过将世界预测和动作执行解耦到不同时间分辨率，解决了传统模型在近端帧建模上的冗余问题。视频DiT作为低频世界规划器，维护滚动键值记忆并编码长期场景演化；动作DiT作为高频执行器，通过层间联合注意力查询世界上下文。实验在RoboTwin和真实世界任务中达到92.80%和78.3%的成功率，闭环控制频率达24.17 Hz，速度提升4.59倍，且无需机器人数据预训练。
论文机器人操控世界模型扩散Transformer
推荐理由：机器人操控研究者终于有了一个能高效解耦世界建模与动作执行的方案——AHA-WAM在速度和成功率上双赢，做具身智能的团队可以直接参考其异步架构设计。
原文
05:01
6月5日
15:42
10:06
10:06官方一手pandaily@contact@pandaily.com (Pandaily)
精选
中国具身智能公司 Kuawei Intelligence 在 2026 年 5 月的 WorldArena Track 2（数据引擎）全球基准测试中排名第一，超越了 WoW 和 BLM 等国际竞争对手。这一成就标志着中国在具身 AI 领域的重要突破，凸显了其在世界模型研究方面日益增强的竞争力。Kuawei Intelligence 专注于开发能够理解和模拟物理世界的 AI 模型，此次夺冠验证了其技术路线的有效性。
行业具身智能世界模型Kuawei Intelligence
推荐理由：具身智能赛道迎来中国玩家登顶，做机器人或世界模型研究的团队值得关注 Kuawei 的技术路径，看看他们如何用数据引擎超越国际对手。
原文
6月4日
21:46
13:46
10:20
10:20berryxia@berryxia
76°
李飞飞在最新文章中系统阐述了世界模型的三种核心功能：渲染器（输出像素，如文生视频模型）、模拟器（输出状态，需物理准确）和规划器（输出动作，闭合感知-行动循环）。她指出模拟器是最关键但最被低估的一环，连接渲染与规划，是实现可靠真实世界应用的核心。World Labs 的 Marble 项目展示了从多模态提示生成可探索 3D 环境的能力，同时输出视觉和物理数据。文章强调语言模型擅长文本，但物理世界需要空间智能，统一世界模型是 AI 的下一个前沿。
AI模型世界模型空间智能李飞飞
推荐理由：李飞飞把被滥用的「世界模型」概念理清了，做计算机视觉、机器人或生成式 AI 的开发者能直接对照自己的研究方向找到定位，建议点开看完整分类法。
原文
06:42
04:12
6月3日
20:03
18:42
17:41
17:41IT之家（博客/媒体）
Momenta 宣布获得无锡市智能网联汽车道路测试与示范应用许可，并于今年1月起在当地启动测试。公司计划在2026年内于全球多个新城市及区域落地高阶自动驾驶，重点推进技术场景验证与民生出行服务。Momenta 已在国内上海、苏州及海外慕尼黑、阿布扎比等地运营 Robotaxi，并正拓展欧洲、新加坡及日本市场。其发布的 R7 强化学习世界模型已应用于 L4 级自动驾驶，提升车辆在复杂场景中的通行能力。Momenta 与 Uber、Grab、梅赛德斯-奔驰等合作，量产智驾方案搭载量超80万台，覆盖十余个国家和地区。
行业自动驾驶Momenta路测许可
推荐理由：Momenta 的全球扩张和 R7 世界模型落地，让关注自动驾驶落地的从业者看到 L4 级技术从测试到商用的加速路径，做出行服务或智驾方案的团队值得关注其多城部署节奏。
原文
16:41
14:48
00:31
00:31小互@imxiaohu
AI在医疗领域的应用正从“看片子找病灶”升级为“世界模型”，能提前模拟不同治疗方案在患者身上的长期效果，并直接推荐最优方案。该技术已在肝癌化疗栓塞和放疗中验证，将临床决策成功率提升13%。其核心价值在于，真实世界不允许多次试错，而世界模型提供了低成本、高保真的决策模拟。这一范式有望扩展到农业、城市规划、低空经济等高风险决策领域。
AI产品世界模型医疗AI决策模拟
推荐理由：医疗AI终于从“识别病灶”进化到“预测疗效”，做临床决策的医生和医疗AI开发者值得关注——世界模型正在把试错成本降到零，建议点开看看它如何颠覆传统治疗流程。
原文
6月2日
17:46
17:46rohanpaul_ai@rohanpaul_ai
76°
LongCat 发布了 WBench，一个用于测试视频世界模型的基准，将测试重点从视觉质量转向控制、多轮记忆、指令遵循和物理合理性。WBench 包含 289 个案例、1058 次交互、20 个模型、5 个维度和 22 个自动指标，覆盖导航、主体动作、事件编辑、视角切换等。测试发现，没有模型在所有维度上占优，视觉质量与控制能力几乎无关。WBench 的设计将世界设置与用户动作分离，帮助研究者定位失败原因。这标志着视频世界模型评估从“视频好不好看”转向“模型能否维持可控世界”。
论文视频生成世界模型基准测试
推荐理由：做视频生成或世界模型的研究者终于有了正经的评估工具——WBench 把视觉质量和控制能力分开测，看完你会明白为什么很多漂亮视频其实不能当世界模型用。
原文
12:10
12:10Latent.Space@latentspacepod
精选
Ethan He 在 Latent Space 播客中分享了对视频生成、世界模型、LLM、智能体和持续学习的看法。他认为视频模型的大部分智能来自语言而非视频数据，idea-to-code 的速度已经很快，瓶颈在于计算资源。他强调迭代速度在模型开发中几乎压倒一切，下一个飞跃将是视频智能体而非更好的视频模型。他还预测扩散模型将成为 AGI 的前端，LLM 作为后端，生成式 UI 将取代 HTML/CSS，物理具身可能成为强大 AI 的工具。
AI模型视频生成世界模型智能体
推荐理由：Ethan He 对 AI 前沿的预判直击要害，做视频生成、智能体或世界模型的开发者看完会有启发——尤其是关于迭代速度和智能体方向的洞察，值得点开细品。
原文
12:05
12:05官方账号arXiv cs.LG@Ning Lu, Baijiong Lin, Shengcai Liu, Jiahao Wu, Haoze Lv, Yanbin Wei, Lingting Zhu, Shengju Qian, Xin Wang, Ying-Cong Chen, Qi Wang, Ke Tang
论文提出 PaW 框架，在强化学习训练语言智能体时，利用策略 rollout 中的动作-观测对作为世界模型监督信号，无需额外模拟器或推理计算。通过动作熵筛选数据、噪声容忍损失和自适应损失平衡三个组件，PaW 在多个智能体任务基准上显著优于纯 RL 基线。该方法解决了 RL 缺乏环境反馈监督的问题，让智能体不仅知道“做什么能得高分”，还理解“动作对环境的影响”。实验表明标准 RL rollout 即可提供有效的世界模型训练信号，降低了世界模型的应用门槛。
论文强化学习世界模型语言智能体
推荐理由：做语言智能体强化学习的团队，可以用 PaW 在现有 RL 流程中零成本加入世界模型监督，提升智能体对环境的理解能力，值得在项目中尝试。
原文
11:16
11:16官方账号arXiv cs.LG@Eduardo Sebastián, Adrian Pfisterer, Vito Mengers, Oliver Brock, Amanda Prorok
这篇论文提出了一种新的机器人学习框架，通过将策略分解为“世界因子”和“任务因子”来实现结构泛化。世界因子描述机器人和环境的固有属性，独立于任务意图；任务因子则定义任务逻辑。作者利用贝叶斯模型证据形式化了这种不对称性，并实例化为AICON图与学习策略的组合，梯度作为两个因子的接口。实验表明，该方法在异构机器人、环境和任务中优于端到端基线，能零样本泛化到分布外配置，并直接迁移到真实硬件。
论文机器人学习泛化世界模型
推荐理由：机器人学习领域长期面临泛化难题，这篇论文从结构分解入手给出了新解法。做机器人策略研究或部署的团队值得关注，零样本迁移到真实硬件意味着可以直接减少重复训练成本。
原文
01:11
01:11Latent.Space@latentspacepod
78°
前xAI世界模型负责人兼Nvidia Cosmos研究员Ethan He解释了AI视频可能遵循与编码智能体相同的路径。他认为文本到视频仅处于自动补全阶段，世界模型将变得实时和交互式，语言模型可能成为视频的控制层。未来AI视频可能更像一个拥有摄像头、编辑器、时间线和工具带的智能体，而非简单的提示框。Grok Imagine从零到一的开发过程展示了这一趋势。
AI产品视频智能体世界模型Grok Imagine
事件专题
推荐理由：视频生成领域正在从“生成一段视频”进化到“智能体操控视频”，做AI视频工具或内容创作的团队值得关注这个范式转变。
原文
6月1日
21:50
21:50官方账号Decoder@Maximilian Schreiner
88°
Nvidia 在 GTC Taipei 上推出了一系列面向机器人、自动驾驶和视频系统的模型。核心产品包括新的世界模型 Cosmos 3、大幅升级的驾驶模型 Alpamayo 2 Super，以及一个开源的人形机器人参考平台。这些发布标志着 Nvidia 在物理 AI 领域的重大投入，旨在为机器人提供更强大的感知、规划和交互能力。Cosmos 3 能够生成更逼真的虚拟环境，Alpamayo 2 Super 提升了自动驾驶的决策精度，而开源平台则降低了人形机器人研发的门槛。
AI产品Nvidia物理 AI世界模型
事件专题
推荐理由：Nvidia 一口气推出世界模型、驾驶模型和开源人形机器人平台，做机器人、自动驾驶和物理 AI 的开发者可以直接关注这些新工具，看看能否加速自己的项目。
原文
14:08
14:08官方账号Runway ML@runwayml
精选76°
Runway 宣布作为创始成员加入 Cosmos Coalition，这是一个由 NVIDIA 和多家顶级 AI 实验室发起的全球性倡议，旨在共同构建并开源面向物理 AI 的前沿世界模型。该联盟将通过一个通用的开放生态系统，加速世界模型的研究与开发，推动物理 AI 的进步。此举有望降低物理 AI 的门槛，促进跨机构协作，为机器人、自动驾驶等领域提供基础模型。
行业物理 AI世界模型开源/仓库
事件专题
推荐理由：物理 AI 开发者终于有了开放生态——Runway 和 NVIDIA 牵头开源世界模型，做机器人或自动驾驶的团队可以直接参与共建，值得关注。
原文
14:05
14:05berryxia@berryxia
78°
Decart 发布了一个非视频生成的持久化、多人协作世界模型，核心创新在于将「世界状态」与「视觉渲染」彻底解耦。这意味着世界不再是逐帧生成的画面，而是一个持续运行、可被用户实时修改、并能从任意视角稳定观测的结构化环境。该模型支持多人同时在线交互，是目前最接近「可交互持久世界」的尝试。这一突破为游戏、虚拟世界和协作式 AI 应用提供了全新范式。
AI产品世界模型多人协作持久化
推荐理由：做虚拟世界、游戏或协作式 AI 的团队终于有了一个真正持久化的交互环境——世界状态独立于渲染，多人可同时修改并观测。建议直接体验，这可能是下一代交互平台的原型。
原文
5月30日
23:18
23:18IT之家（博客/媒体）
精选72°
智元机器人自研的世界模型 Genie Envisioner-Sim 2.0（GE 2.0）在具身领域热门榜单 WorldArena Track1 中登顶，该赛道评测世界模型的感知与动作响应能力。GE 2.0 仅用 20 亿参数，就超越了英伟达、微软等团队的超大参数模型，验证了轻量化模型在人形机器人应用中的适配性。该模型首次全面覆盖长时序生成、多视角生成、本体状态生成、近实时推理及奖励判别等核心环节，在长时序推理中能稳定生成 40-50 秒高质量视频，且与真实世界保持强相关性。GE 2.0 还具备奖励模型机制，可自动筛选高质量数据回流给策略模型，助力多项任务性能提升。
AI模型世界模型具身智能智元
推荐理由：智元用 2B 参数模型在具身智能世界模型赛道击败英伟达等巨头，做机器人或具身智能的开发者值得关注——轻量化方案可能改写行业路线。
原文
16:45
00:08
5月29日
16:39
16:39官方一手pandaily@contact@pandaily.com (Pandaily)
精选
X-Square Robot 推出了 WALL-WM，这是全球首个事件级预测的具身 AI 世界模型。与传统逐帧预测不同，WALL-WM 转向语义事件理解，让机器人能够理解任务目标而非记忆像素序列。该模型预计于 2026 年 5 月正式发布。这一突破意味着机器人可以更高效地规划动作，减少对大量训练数据的依赖，推动具身智能从感知走向认知。
AI模型具身智能世界模型事件预测
推荐理由：做机器人或具身智能的团队终于有了能理解任务目标的模型——WALL-WM 从像素预测升级到事件理解，直接降低训练成本，做自主导航或操作任务的开发者值得关注。
原文
09:56
09:56rohanpaul_ai@rohanpaul_ai
精选
Yann LeCun 团队的新论文揭示了自监督模型 LeJEPA 何时能真正学到隐藏的世界变量。研究发现，只有当这些隐藏变量呈平衡的高斯分布时，LeJEPA 才能可靠地恢复它们。论文从数学上证明，当真实隐藏变量是独立高斯变量且配对视图来自稳定噪声过程时，LeJEPA 的最优解必然能恢复这些变量（至多相差一个旋转或翻转）。这为理解自监督 AI 模型何时是在学习世界结构、而非仅生成恰好有用的特征提供了理论依据。
论文自监督学习世界模型LeJEPA
推荐理由：这篇论文给自监督学习社区一个清晰的数学答案：什么条件下模型真的在学世界模型。做表征学习或世界模型研究的开发者，看完会对 LeJEPA 的能力边界有更硬核的理解。
原文
5月28日
11:56
11:56官方账号arXiv cs.LG@Audrey Chan, Aaron Labbé, Jacob Lavoie, Jordan Bannister, Arsène Fansi Tchango, Guillaume Lajoie, Laurent Charlin
该论文提出AMRS情感音乐推荐系统，部署于LUCID健康平台，服务临床用户（如神经认知障碍老年人）和普通用户。系统使用因果Transformer构建世界模型，基于历史日志数据预测用户参与度、评分及情感状态（效价与唤醒度）。通过行为克隆初始化推荐策略，再使用直接偏好优化（DPO）离线微调，避免在线情感实验的伦理问题。实验表明，世界模型在冷启动场景下能有效预测行为与情感信号，DPO在保持推荐多样性的同时提升了情感指标。该工作为无法进行在线实验的情感推荐场景提供了可部署的验证方案。
论文推荐系统情感计算离线优化
推荐理由：做健康/情感类推荐系统的团队终于有了一个可落地的离线优化方案——用世界模型模拟用户情感反馈，避免在线实验的伦理风险，做医疗或老年人应用的开发者可以直接参考其方法论。
原文
11:36
5月27日
11:33
11:33IT之家（博客/媒体）
精选
蔚来宣布ES9行政旗舰SUV将首发世界模型全新版本，该版本采用国内首个直接操作方向盘与踏板的智能辅助驾驶系统，省去轨迹输出步骤，提升控车精准度。同时，它引入行业首个完整“世界模型+监督微调+闭环强化学习”三层训练框架，并成为首个车企自研可识别天空路牌的智能辅助驾驶系统。2026年1月，基于该架构的版本将全量推送至Banyan、Cedar、Cedar S系统的数十万辆车，6月先行更新。更新后城区领航辅助使用里程和时长环比分别提升92%和116%。
AI产品蔚来世界模型智能辅助驾驶
推荐理由：蔚来这次把端到端控制直接做到方向盘和踏板上，省掉轨迹翻译环节，开智能驾驶的体验会更丝滑。做自动驾驶或关注车企技术路线的开发者值得点开，看看三层训练框架怎么让模型既拟人又合规。
原文
5月26日
22:56
22:56官方账号NVIDIA AI@NVIDIAAI
NVIDIA AI 官方账号发布了一段由 Julia Turc 制作的关于“世界模型”的讲解视频。视频澄清了世界模型与视频生成的区别，探讨了其超越“AI 垃圾”的潜力，并幽默回应了 Yann LeCun 的争议。该视频旨在帮助观众理解这一当前 AI 领域最热门但最模糊的概念之一。
AI模型世界模型NVIDIA视频生成
事件专题
推荐理由：世界模型是当前 AI 最模糊的概念之一，这个视频帮你理清它与视频生成的区别，想搞懂 AI 前沿方向的建议点开。
原文
11:34
11:34IT之家（博客/媒体）
76°
小米汽车发布了全新的世界模型框架 Xiaomi Auto World Model，首次将三维重建与视频生成深度耦合，打破了行业长期将两者独立的技术路线。该框架通过重建提供几何锚点、生成填补未观测场景，实现了高稳定性、高一致性和高真实性，在 Waymo、nuScenes 等主流基准测试中全面取得 SOTA。目前该模型已在小米汽车的合成数据生成、仿真测试和智能座舱辅助驾驶学堂三大场景落地，交付了超过 10 万 clips 高质量合成数据。这一技术路径有望推动辅助驾驶从“场景感知”向“认知推演”的高阶形态跃迁。
AI产品世界模型自动驾驶三维重建
推荐理由：小米汽车把世界模型的两条路线拧成一股绳，解决了重建缺想象、生成易漂移的行业难题。做自动驾驶感知或仿真的团队，建议看看他们的论文和技术主页，或许能启发新的技术路径。
原文