ACE Robotics 把 Mundo 世界模型和机上技能拼成了一套酒店洗衣机器人,失败案例能反哺技能改进,单轮 18.6 秒。想看世界模型怎么在真实场景落地的,这篇比纯实验室 demo 有参考价值,做具身智能的可以细看。
#世界模型
华为云把世界模型和自家昇腾芯片绑在一起做了,不依赖英伟达生态。做机器人训练、具身智能的团队可以关注,毕竟全昇腾链路的具身模型目前国内还真不多见。
李飞飞创办的 World Labs 把 Atlas 世界模型全量开放了,浏览器里就能用,API 也一并上线。它输出的不只是视频,还有能直接进 3D 渲染管线的高斯泼溅资产,和 Sora、Veo 这类纯视频产品思路不同。做游戏场景、虚拟空间或仿真数据的开发者值得上手试试。
华为云要出手了,11 月 16 日发布首款昇腾原生的世界模型 CloudRobo-WM1.2。做机器人开发的值得看直播,华为云明确不造本体、只做平台,等于给国内一堆机器人公司提供了底层模型选项,跟英伟达 Cosmos 这类世界模型形成了对标。
跑机器人仿真或具身智能的朋友可以看看这个开源的 PAN 2,29B 参数,动作注入和空间一致性都做得不错,权重直接能下,自己搭环境试试就知道成色。
做 Agent 或机器人训练的朋友可以关注:PAN 2 开源了,输入一个动作描述,语言模型先推演剧情,29B 视频模型再渲染出最长 20 秒的物理结果,等于把试错搬进了仿真,不用在真实环境里烧成本。
IFM 把草莓换成橡皮鸭,模型能算出两次水花有什么不同,这是把物理规律内化进世界模型的做法。做智能体规划的人可以看看这种"先推演再执行"的思路,和 Sora 类纯视频生成模型方向不太一样。
IFM 把世界模型做成了智能体的"预演器":29B 的 LDM 负责画后果,LLM 负责想后果,选最优再动手。和纯文本推理的 agent 框架相比,它多了视频级的可视化验证。做机器人、游戏或决策型智能体的开发者可以直接下载权重和代码上手试。
阿联酋 MBZUAI 的 IFM 实验室开源了 PAN 2,用 29B 扩散模型加 LLM 规划器,能预演最长 20 秒的物理动作结果。做机器人或具身智能的团队可以自己部署跑起来,不用从零搭仿真环境,Apache 2.0 许可商用也没障碍。
Fable 5.2 的 5 个新演示挺直观的:有整座伊斯坦布尔、能打碎的体素场景,还有一个直接开浏览器就能玩的开放世界。做游戏或世界模型方向的人可以看看这批案例,感受下这类模型和静态视频生成的差别。
五个 LLM 把情境转成 POSG 世界模型,99% 能跑通但结构 F1 只有 0.366,能对上的参考不到两成。做规划或神经符号系统的开发者该看看,别只验证可执行性。
成都人形机器人创新中心的第五代贡嘎把记忆、因果推理和世界模型整合成了一套完整链路,机器人能记住物品位置并跨越多天完成任务,遇到意外还能自主改方案。做具身智能或家庭服务机器人的团队可以看看它的技术架构思路。
MBZUAI 的 IFM 团队开源了物理世界模型 PAN 2,用 LLM 规划加 29B 扩散模型生成画面的两段式架构做行动前推演,去 LLM 消融直接掉到 8.7% 步骤正确率。做具身智能或智能体规划的人可以看看它的开源设计和数据。
IFM 放出了 PAN 2 的演示视频,内容是墨水滴进试管的扩散过程,你可以自己看看有没有穿帮。跟 Sora 这类视频模型比,它更强调物理规律。做仿真或机器人训练的可以看看。
PAN 2 团队开源了一个按时间、物理、空间来预测场景变化的世界模型,能做文生视频和图生视频。vLLM-Omni 第一天就支持它,想在自己服务器上跑视频生成或做真实世界模拟的开发者可以直接用开源推理栈部署了。
Schmidhuber 在日经访谈里说现在这些 LLM 只懂屏幕里的世界,物理 AI 要人类级智能 2 年内到不了,跟不少押注具身智能的人唱反调。他还给了日本德国靠物理 AI 翻盘的思路,做机器人的、评估投资节奏的都值得看看原文怎么说。
做机器人控制或世界模型的研究者可以看看这篇。它在 LeWorldModel 基础上加了反向动力学和逆动力学两个损失项,规划效率有提升,思路和 JEPA 那条无解码器路线不一样,实验是在仿真里做的。
搞机器人世界模型的应该看看这篇。相机一挪、控制器一换,模型就得重训,这活儿很烦。LoH 完全不训练,靠前后两帧图像反推出实际动作映射,还能把映射存起来复用。成功率直接翻倍,开销几乎为零,工程上很容易试。
这家公司真的买了 3 家公司扔给 AI 运营,AlphaSocial 三个月 MRR 从 $3,600 涨到 $8,100,现在还要花 $2M 再买 5 家。想看 Agent 自主经营到底靠不靠谱的,这条线索值得跟一下。
强化学习老难题——长期记忆,这篇论文在测试时用梯度下降把记忆写进世界模型,Memory Maze 上刷新 SOTA,做 MBRL 的值得看看方法细节。
LeCun 亲自科普 JEA 和 JEPA 的区别,一句话说清:区别不在缩写,在要不要预测器,还捎带讲了 30 年谱系
有人把ICU患者的电子病历训练成世界模型,一次建模就能模拟床位、调度、转院多种政策,比传统Markov模型多捕捉恢复速度差异。
给自动驾驶世界模型加新目标不用再重训了,采样时注入能量引导就行,三个公开 WAM 都涨了 1.8 到 3.6 EPDMS。
用 Doom 训出来的可玩世界模型,显式 3D 状态不是纯视频生成,M4 芯片笔记本就能跑,还开源了权重,感兴趣的可以试试。
一篇离线强化学习新论文,MAC-v2 用潜在世界模型加动作分块,在 LIBERO-10 这些视觉基准上跑赢了 model-free 和 model-based 基线,做 RL 的可以看看。
李飞飞的 World Labs 出了个网页版演示 Frameboy,选个卡带就能逛 AI 生成的 3D 世界,就是 15 帧玩起来有点卡。
智象的梅涛谈了个新概念:把智能体和世界模型捏到一起,还判断三条技术路线会合流,看看他怎么推演的。
Verne Robotics 放出了开源世界动作模型 V0.5,机器人换个房间、光照一变也不太掉性能,比 Physical Intelligence 的 π0.5 稳不少,学新任务只要 2 小时演示。
NVIDIA 的 Cosmos 框架加 NIM,把世界模型从训练到部署一条龙搞定,做机器人和物理仿真的开发者可以看看这套工具。
百度出了个世界模型,专门用来在虚拟环境里训练和测试无人车,Apollo Go 已经跑了 2300 多万单。
国产团队把物理规则塞进了 4D 高斯场景,还能跑在昇腾芯片上,视频推理约 70 fps,做仿真和具身方向的可以看看。
百度发布的世界模型 Apollo World,能把驾驶场景变成可控仿真来训练 Apollo Go,连传感器数据都实时生成。
LiberAI 用 220 万小时人类视频训练 Liber-0,不用一条机器人演示数据就跑了 60 个任务,做具身智能的可以看看这条路线。
魔芯科技的 MoWorld 2.0 能生成带物理规则的 4D 空间资产,风一吹书页会真的翻动,而且全程跑在华为昇腾上,成本号称只有 GPU 方案三成。
百度给萝卜快跑造了个虚拟训练场,车辆行人在里面都是会自主决策的 AI 智能体,无人车能从接单一路开到送达全程模拟测试。
LeCun 本人下场解释 JEPA 和 LLM 的根本区别,还附了论文,想搞懂世界模型路线的看这条就够。
NVIDIA 放出了 Cosmos 3 的后训练教程,讲清楚怎么让世界模型听懂相机指令,做视频生成的可以看下。