MBZUAI IFM 开源物理世界模型 PAN 2,主打模拟式推理
MBZUAI 的 IFM 团队开源了物理世界模型 PAN 2,用 LLM 规划加 29B 扩散模型生成画面的两段式架构做行动前推演,去 LLM 消融直接掉到 8.7% 步骤正确率。做具身智能或智能体规划的人可以看看它的开源设计和数据。
MBZUAI 的 Institute of Foundation Models(IFM)发布了 PAN 2,一个面向物理智能的开源基础世界模型,核心思路是让智能体在行动前先在模拟中推演结果。架构分为两层:Conceptual 层由 LLM 负责推演会发生什么、何时发生以及镜头如何运动,并写成文本描述;Perceptual 层是一个从零训练的 29B 参数扩散模型,把这段文本转成可视画面。
消融数据说明了分工的重要性:去掉 LLM 后,多步任务只剩 8.7% 的步骤正确,没有任何一个计划能完整完成,说明动作顺序规划完全依赖 LLM。两层协同工作时,PAN 2 在 IFM 测试的模型中成绩最高,步骤正确率达 75.1%,完整完成计划的比例为 34.0%。由于每一步都必须成立计划才算成功,长序列任务的容错空间很小,这个结果也侧面反映了世界模型做长程规划的难度。
MBZUAI's Institute of Foundation Models (IFM) just released PAN 2, an open foundation world model for physical intelligence.
It's built towards simulative reasoning: letting an agent play out what happens before it acts.
It works with two kinds of reasoning, each with its own job:
> Conceptual: an LLM works out what happens, when, and how the camera moves, then writes it down as text. > Perceptual: a 29B diffusion model, trained from scratch, turns that text into what you see.
Take the LLM out, and multi-step tasks fall apart: 8.7% of steps right, no plan finished. Getting the order of actions right is the LLM's job.
With both, PAN 2 gets 75.1% of steps right and finishes 34.0% of plans in full, the highest among the models IFM tested. Every step has to hold for a plan to work.
More details in the technical blog:
https://t.co/l6xKPmKT9k
[1/1]
本条情报归属 AITOP「模型」核心栏目,重点聚焦东南亚与东盟六国(新加坡、马来西亚、印尼、泰国、越南、菲律宾)数字经济生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:PAN 2、MBZUAI、世界模型、扩散模型,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「rohanpaul_ai」(@rohanpaul_ai),经 AITOP 多维评分管线结构化提炼。