模型

英伟达开源 Lyra 2.0:一张照片生成可漫游的 3D 场景

精选理由

英伟达把 Lyra 2.0 开源了,丢一张照片进去就能生成可以随便逛的 3D 场景,效果像开放世界游戏,模型链接在文内可以自己下。

英伟达开源了 Lyra 2.0,底层基于 WAN-14B 模型。用户输入一张 480×832 分辨率照片和相机运动轨迹,模型先生成视角连贯的长视频,再重建为三维高斯点云场景。输出的是包含空间坐标和色彩属性的 3D 场景文件,可放入渲染引擎实时渲染,镜头能在场景中自由穿梭漫游,各角度物体结构保持一致。

原文 · Gorden Sun

Lyra 2.0:让一张静态图片变成可以自由探索的3D虚拟世界

英伟达开源,基于WAN-14B。用户输入一张480*832分辨率的普通照片和指定的相机运动轨迹,模型就会先生成视角连贯的长视频,再把视频直接重建为三维高斯点云场景。

最终生成的是一个包含空间坐标和色彩属性的3D场景文件。用户不仅可以把它放进兼容的渲染引擎里进行实时渲染,还能像玩开放世界游戏一样,操控镜头在生成的空间里前后穿梭漫游,各个角度看到的物体结构都保持一致。

模型:https://t.co/3mNzoxeGMh