NVIDIA 提出联合生成 3D 骨骼动画与视频的模型

NVIDIA 研究团队发布一项工作，针对视频生成模型无法输出可回放 3D 动作的问题，让模型对任意骨骼绑定同时生成视频和 3D 动作，并生成相机参数将动作定位到 3D 场景中。与此前只支持人体骨骼或从 2D 姿态图三角化的方案不同，该方法将 3D 动作放在独立模型中，通过少量 cross-attention 层连接预训练视频模型。训练数据使用生成式视频编辑器合成，结合人体和机器人视频共构建约 200K 训练对。评测显示该模型从文本驱动多种骨骼绑定的效果比 video-first 管线更忠实，且动作能响应周围场景，还支持视频转骨骼动作、骨骼动作转视频和关键帧控制。