MBZUAI IFM 开源物理世界模型 PAN 2,主打模拟式推理
MBZUAI 的 IFM 团队开源了物理世界模型 PAN 2,用 LLM 规划加 29B 扩散模型生成画面的两段式架构做行动前推演,去 LLM 消融直接掉到 8.7% 步骤正确率。做具身智能或智能体规划的人可以看看它的开源设计和数据。
MBZUAI 的 IFM 团队开源了物理世界模型 PAN 2,用 LLM 规划加 29B 扩散模型生成画面的两段式架构做行动前推演,去 LLM 消融直接掉到 8.7% 步骤正确率。做具身智能或智能体规划的人可以看看它的开源设计和数据。
IFM 放出了 PAN 2 的演示视频,内容是墨水滴进试管的扩散过程,你可以自己看看有没有穿帮。跟 Sora 这类视频模型比,它更强调物理规律。做仿真或机器人训练的可以看看。
PAN 2 团队开源了一个按时间、物理、空间来预测场景变化的世界模型,能做文生视频和图生视频。vLLM-Omni 第一天就支持它,想在自己服务器上跑视频生成或做真实世界模拟的开发者可以直接用开源推理栈部署了。