AITOPAI热报

世界模型

共 186 条相关 AI 资讯
9月3日
12:06
12:06官方账号arXiv cs.LG@Kelvin Li, Dhruv Pendharkar, Anish Pahilajani, Chuyi Shang, Leon Oks, Leonid Karlinsky, Rogerio Feris, Trevor Darrell, Roei Herzig
研究人员提出了一种名为predicted-state matching的新型训练目标，用于Web Agent的世界模型训练。该方法使用从WebArena Go-Browse轨迹中生成的分支式数据集，使模型能够区分真实结果状态与其他替代动作导致的状态。实验表明，该方法在预测状态匹配基准上优于传统监督式预测模型，在WebPRMBench上提升了PRM式动作排名，并在WebArena-Lite上提高了端到端任务成功率。
论文WebArenaWeb Agent世界模型
推荐理由：斯坦福团队新论文提出Web Agent世界模型新训练方法，在WebArena基准上表现更好。
原文
09:03
9月2日
20:53
20:53官方账号Decoder@Jonathan Kemper
精选73°
World Labs由AI研究员李飞飞联合创立，推出Atlas模型。该模型仅需几张照片即可生成、重建和模拟3D场景。Atlas在3D空间中锚定所有输入，而非处理为平面序列。公司称其性能超过专业模型。Atlas还能在模拟中生成机器人训练数据。
AI模型AtlasWorld LabsFei-Fei Li
推荐理由：李飞飞团队出的Atlas模型，几张照片就能生成3D世界，还能做机器人训练数据，比专业模型还强。
原文
19:03
18:38
16:13
16:13爱范儿@莫崇宇
李飞飞团队发布了全球首个多模态世界模型 Atlas。该模型仅需几张照片就能省去传统拍摄所需的数百个机位。Atlas 能够理解空间关系，为影视制作带来新可能。这一技术突破将改变内容创作方式。
AI模型Atlas李飞飞多模态
推荐理由：李飞飞团队新发布的 Atlas 模型，几张照片就能替代传统拍摄中的数百个机位，理解空间关系。
原文
10:33
10:33AI Will@FinanceYF5
73°
World Labs 发布了 Atlas，这是全球首个多模态世界模型。Atlas 能够以像素级精确的相机控制生成图像和视频帧。该模型可以将生成的图像重建为 3D 场景。Atlas 能够建模世界、移动相机并模拟空间与时间。
AI模型AtlasWorld Labs多模态
推荐理由：World Labs 推出 Atlas，首个能精确控制相机并生成 3D 内容的世界模型，比传统方法更逼真。
原文
08:28
03:47
03:03
8月28日
17:41
17:22
17:22官方账号arXiv cs.AI@Yuandong Pu, Le Zhuo, Sayak Paul, Gabriel Jorge Menezes, Avram Đorđević, Shiyang Li, Yifan Zhou, Bin Fu, Wenlong Zhang, Junjun He, Yu Qiao, Yihao Liu, Jingbo Xing, Xi Chen
精选73°
PAWBench基准测试评估了11个当前视频生成系统在50个场景下的表现。研究发现，没有模型能够同时匹配参考概率并恢复有效行为范围。该研究引入了概率对齐概念，将世界模型定义为可能行为的分布采样器。PAWEval协议将重复视频展开转换为可能物理行为的经验分布。
论文PAWBench视频生成世界模型
推荐理由：PAWBench首次系统评估视频生成模型作为世界模型的概率对齐能力，揭示了当前模型与理想状态间的差距。
原文
8月27日
09:47
09:47官方账号arXiv cs.AI@Yiwen Chen, Guosheng Lin, Chi Zhang
精选
Code World Model框架结合语言模型的推理和编码能力与视频模型的生成先验，通过编码代理作为世界大脑，推理事件及其后果并生成可执行代码以维持持久的世界状态和执行规则一致的进化。通过代理表示将可执行状态与视觉生成连接，并开发数据管道从游戏和现实世界视频构建对齐的代理观察对。MiniMax-H3在编码代理构建的简单交互式世界中遵循基于代理的时空规范，同时保留丰富的视觉细节和动态。这些结果表明，结合代码进行持久世界进化的潜力与视频模型进行灵活视觉实现，为开放式世界模型提供了一条新路径。
论文Code World Model世界模型语言模型
事件专题
推荐理由：Code World Model结合了语言模型和视频模型，通过编码代理实现世界大脑，为开放式世界模型提供新路径，值得了解。
原文
8月25日
11:11
11:11官方账号arXiv cs.LG@Andrej Orsula, Miguel Olivares-Mendez, Carol Martinez
针对太空机器人极端环境中的硬件退化问题，提出一种无奖励持续学习框架，利用潜在状态世界模型进行在线适应。通过在多样化模拟中预训练模型代理，世界模型学习其潜在空间中的奖励结构预测器。在部署到硬件退化严重的环境中，仅通过无监督回滚更新世界模型的转换动态。通过训练策略以更新后的世界模型生成的想象轨迹，代理适应改变的动力而不需要新的奖励。在模拟行星穿越、轨道导航和精密组装任务中展示了该方法的有效性。
论文智能体持续学习太空机器人
推荐理由：这篇论文提出了一种无奖励持续学习框架，对于太空机器人适应硬件退化问题有重要意义，值得一读。
原文
10:47
10:47官方账号arXiv cs.AI@Richard Bao
研究测试了仅通过摆动视频训练的冻结DreamerV3模型是否学会了一个标量，该标量在自身的潜在转换中被视为近似守恒。无标签搜索在独立训练的保守模型中恢复了相同的能量类不变量，而在匹配阻尼模型中找不到类似的变量。在自主运行期间，该量值发生漂移。将潜在状态投影回其初始水平集可以减少所有三个保守模型的运行错误，而匹配随机约束通常会增加错误。这些结果区分了动态意义上的不变量与仅可解码的相关性，并揭示了一个具体的失败模式：世界模型可以从像素中学习物理约束，但在想象未来时违反该约束。
论文DreamerV3物理不变量世界模型
推荐理由：这篇论文揭示了世界模型在处理物理约束时的局限性，为改进模型提供了有价值的见解。
原文
8月23日
17:03
17:03量子位@量子位的朋友们
无界动力在WRC主论坛及多场同期活动中深度参与，展示其世界模型技术，强调其在现实生产力中的应用潜力。活动涵盖技术研讨、产品展示等环节，旨在推动行业交流与合作。
行业无界动力WRC主论坛世界模型
推荐理由：无界动力在WRC活动中展示世界模型技术，了解其在现实生产力中的应用前景，值得行业关注。
原文
8月21日
10:08
10:08官方账号arXiv cs.LG@Taoyong Cui, Pheng Ann Heng, Wanli Ouyang
精选
Meta AI 提出一种名为 Orthogonal JEPA 的新框架。该框架通过正交预测分解来学习潜在世界模型。它使用正交基矩阵将目标状态分解为多个组件，并为每个组件设置专用预测分支。实验在受控视觉、单细胞转录组学、纵向健康记录、连续控制和分子动力学等多个领域进行。
AI模型Orthogonal JEPAJEPAMeta AI
推荐理由：Meta AI 推出了 Orthogonal JEPA，它能把复杂系统拆分成多个部分来预测，比标准 JEPA 更高效。
原文
8月18日
10:22
10:22官方账号arXiv cs.LG@Jonathan Sadeghi, Jenny Seidenschwarz, Jesse Allardice, Sirish Srinivasan, Benjamin Graham, Jeffrey Hawke
CaliBench 提出用物理可解释的离散空间（如骰子点数、纸牌花色、轮盘颜色）来评估视频世界模型，而不是像 FID 那样的学习特征空间。该基准覆盖九种场景和六个模型（WAN-2.7、SeeDance-2.0、HappyHorse-1.0、Veo 3.1、Runway Gen-4.5、Cosmos3-Super），每个模型生成32次。测试发现模型普遍把概率质量集中在少数结果上，而非复现参考分布；多数场景-模型组合显著失准，Veo 3.1 在骰子场景甚至坍缩到单一结果。在轮盘场景中，生成视频常让球位置含糊不清，导致多个模型的可评分性（scorability）很低。研究者将协议和指标 mnTV（平均归一化总变差）开源，供新模型对比。
论文CaliBenchVeo 3.1视频生成
推荐理由：CaliBench 新基准专测视频模型的物理随机效果靠不靠谱，六个模型里 Veo 3.1 在骰子上翻车。想对比可以参考。
原文
8月17日
17:06
17:06量子位@思邈
该世界模型支持24FPS视频画面的实时生成。该模型还能以48kHz采样率输出立体声音频。这一24FPS与48kHz的组合，让世界模型具备了同步音画能力。官方宣布模型即将完全开源，开发者可获得24FPS视频与48kHz音频的生成能力。
AI模型世界模型视频生成音频生成
推荐理由：这个新模型能同时生成24帧视频和48kHz立体声，比之前无声的世界模型多了一路声音，而且马上开源，可以自己跑一跑。
原文
12:42
10:44
10:44官方账号arXiv cs.AI@Alexy Skoutnev, Kirill Acharya, Gaston Longhitano, Madeleine Udell, Kevin Ellis, Iddo Drori
精选
Twin 系统让前沿编程智能体在测试时编写可执行世界模型，用来完成 ARC-AGI-3 等持续学习任务，全程只靠模拟与交互推断游戏规则和目标。它在 183 个关卡中通过 179 个，成功率 97.8%，其中 158 个关卡的效率高于人类玩家（88.3%）。系统在 156 个已通关关卡中于任何奖励前就推断出目标（87.2%），其余关卡则靠搜索自动发现目标。直接用基础模型玩得分仅 7.8%，加现成 harness 升至 61.1%，而 Twin 世界模型把同一基础模型提升到 93.3%，打通 25 个游戏中的 23 个。
论文TwinARC-AGI-3世界模型
推荐理由：Twin 让智能体边玩边写世界模型，ARC-AGI-3 得分从 7.8% 提到 93.3%，效率还超过人类。看看它怎么猜规则。
原文
10:31
8月15日
13:50
13:50IT之家（博客/媒体）
凯迪拉克全新 XT5 PHEV 将于 8 月 21 日成都车展预售，成为首款量产搭载 Momenta R7 世界模型的豪华混动 SUV。新车采用奥特能 5C 三元锂电池，配 1.5T 发动机（最大功率 115kW）和前后双电机（160kW/110kW）。电池容量 35.5kWh，WLTC 纯电续航 155km，综合油耗 6.05L/100km。Momenta R7 世界模型于 2026 年 4 月发布，通过三层架构实现对物体物理特性和运动因果的解析，可应对开门杀、滚落苹果等突发场景。
AI产品凯迪拉克XT5Momenta R7
推荐理由：凯迪拉克把 Momenta R7 世界模型装进 XT5 PHEV，8月21日成都车展预售，能处理滚落苹果、开门杀这种突发状况，还带城区 NOA。
原文
8月14日
22:50
12:03
12:03官方账号arXiv cs.AI@ AlayaWorld Team, Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge, Yuanyang Yin, Jiaming Tan, Kang He, Liaoyuan Fan, Mingliang Zhai, Ruicong Liu, Xiaojie Xu, Xuangeng Chu, Zhen Li, Zhengyuan Lin, Zhixiang Wang, Zian Meng, Zihui Gao
AlayaWorld v1.1技术报告发布，提出改进版交互式长时程世界建模。新版本将空间记忆由深度扭曲法改为流式3D点缓存渲染器。视觉条件被编码到与生成视频一致的因果VAE潜空间中。具体包括六处修改：采用运动感知潜条件、因果编码重渲染空间记忆等。报告未改变主干架构与分块自回归生成方案。
AI模型AlayaWorld世界模型视频生成
推荐理由：AlayaWorld v1.1报告出来了，空间记忆换成了3D点缓存渲染，条件编码统一到因果VAE，做世界模型的值得瞄一眼。
原文
11:52
10:31
10:31官方账号arXiv cs.AI@Gehan Zheng, Matthew Johnson-Roberson, Weiming Zhi
ContactGuard 是一种用于分块视觉运动策略的接触前执行监控方法。它根据策略规划的动作块，在潜在视觉空间预测短期后果，若预测失败则中止执行。其潜在世界模型由未标注机器人轨迹训练，预测多视角视觉嵌入，避免像素级视频预测。在真实接触密集操作任务中，ContactGuard 比直接预测和破坏动作消融的失败预测更准确。该方法可作为真机预接触中止信号，无需修改底层策略。
论文ContactGuard世界模型机器人操作
推荐理由：接触密集操作总在碰坏了才发现问题？ContactGuard 在接触前看潜在视觉嵌入提前判断，能直接发中止信号，不用改策略。
原文
8月13日
18:15
18:12
18:12官方一手marktechpost@Asif Razzaq
Dyna Robotics推出世界动作模型Dyna-2，预训练数据超过100万小时的第一人称人类视频。技术报告展示了在人类数据上至1M小时的缩放定律，并首次将该定律迁移到未见过的机器人数据。实验还表明，视频联合训练能推动跨实体泛化。该模型旨在让机器人从人类行为中学习动作执行。
AI模型Dyna-2Dyna Robotics世界模型
推荐理由：Dyna Robotics把100万小时人类视频喂给机器人模型，搞出了Dyna-2，还验证了缩放定律能跨界到机器人数据，看它怎么做到跨实体泛化挺有意思。
原文
8月12日
16:26
16:26IT之家（博客/媒体）
凯迪拉克全新XT5 PHEV成为首款量产搭载Momenta R7世界模型的豪华混动SUV，展车已登陆全国经销商门店。Momenta R7于2026年4月发布，采用三层架构，可解析物体物理特性与运动因果关系，生成符合物理规律的车速调节与路径规划。该系统能应对早高峰通勤、复杂路口、自动泊车及突发状况，配合激光雷达与蜂鸟底盘实现高速及城区NOA领航辅助。新车搭载奥特能5C三元锂电池，WLTC纯电续航155km，综合油耗6.05L/100km。
AI产品Momenta R7凯迪拉克XT5 PHEV
推荐理由：凯迪拉克把Momenta R7世界模型塞进XT5 PHEV，不用等OTA就能用，带激光雷达和蜂鸟底盘，能应对开门杀和滚落苹果，想买豪华混动SUV的可以看看。
原文
01:16
8月11日
16:29
16:29IT之家（博客/媒体）
韩媒ZDNet Korea报道，三星电子正集结全公司力量加快人形机器人研发，除子公司Rainbow Robotics外，三星也在独立开发人形机器人，水平或已超过韩国主要同类产品。三星拥有家电、移动设备、半导体等众多制造基地，可获取真实生产数据，并拥有自研AI模型Samsung Gauss。三星还在开发世界模型，通过视频数据学习物理规律，让机器人行动前先预测模拟结果。执行器也由三星自主开发，预计用上家电电机技术。上月三星成立RX事业推进室，直接归代表理事卢泰文领导，并计划在龟尾事业场建设数据工厂用于机器人训练。
AI产品三星人形机器人Rainbow Robotics
推荐理由：三星这次是动真格了，除了子公司Rainbow，自己也在搞人形机器人，还挖了波士顿动力背景的人来带队，想看看它能不能靠家电底子做出差异化。
原文
10:34
03:32
8月10日
11:25
11:25官方一手arXiv: DeepSeek@Devin Pereira, Willem Zuidema
精选
论文研究Transformer在河内塔规划任务中的表现，发现小型自训练模型能涌现出线性可解码的几何世界模型（谢尔宾斯基三角），该模型与解题存在因果关联。对Qwen3.6-27B和DeepSeek-R1-Distill-Qwen-32B两个前沿推理模型的分析显示，它们能在提示末尾近乎完美地编码该世界模型，但圆环数超过3个时仍会在多数任务上失败。探针实验表明失败源于规划过程中世界模型表征的衰减，而非缺失。在推理时注入提示阶段的表征可部分恢复性能。
论文Qwen3.6-27BDeepSeek-R1-Distill-Qwen-32B世界模型
推荐理由：这篇论文说推理模型其实能建出世界模型，但解题中途就弄丢了。它用小模型和可解释性方法把问题定位得很清楚，还给出了补救办法。
原文
10:53
10:53官方账号arXiv cs.LG@Xinyi Li, Zaishuo Xia, Chenjie Hao, Yubei Chen
论文提出直接预测世界模型DPWM，将任意长度的动作序列压缩为单一嵌入，单次前向预测终点观测。DPWM避免了递归卷展，使长时程端到端训练在自回归训练不稳定的尺度上可行。在连续控制和像素级基准上，DPWM相比递归世界模型大幅提升长时程终点预测，且预测时程越长优势越大。实验还显示，用同样的长时程目标重训递归基线也获得类似提升，说明训练目标而非骨干结构是主要驱动力。
论文DPWM世界模型长时程预测
推荐理由：这篇论文把世界模型的训练目标改成直接预测终点，DPWM在长时程预测上比递归模型准很多，而且越长优势越明显。想搞长时程决策的可以看看。
原文
10:49
10:49官方账号arXiv cs.LG@Xindi Wu, Sven Elflein, James Lucas, Olga Russakovsky, Laura Leal-Taixé, Despoina Paschalidou, Jonathan Lorraine, Aljoša Ošep
交互式视频世界模型依赖键值缓存作为视觉记忆，但生成超过训练长度后，时间旋转位置编码偏移超出训练范围，模型无法通过注意力可靠寻址已存储内容。论文提出WorldTrace，一种无需训练的长期视觉持久化记忆框架，通过为每个摘要槽分配分布内的虚拟位置保持可寻址性。WorldTrace-Field压缩历史以提升时序一致性，WorldTrace-Landmark在场景转换处存储逐字轨迹用于情节回忆。在LoopBench基准上，WorldTrace-Field将时序一致性提升15.5%，WorldTrace-Landmark将情节回忆提升19.5%。
论文WorldTraceLoopBench世界模型
推荐理由：看这个，论文解决了视频生成模型长视频记忆丢失的问题，不重新训练就能把一致性拉高15个点，做视频生成的人应该关心。
原文
8月9日
06:50
8月8日
23:28
8月6日
10:36