事件专题 ·单一信源

LynnReal-Hand:用手部动作直接操控的交互式视频世界模型

一篇 arXiv 论文提出 LynnReal-Hand,一个通过手部控制直接与视频世界模型交互的系统。团队整理了 100K 条覆盖真实与合成环境的手部交互片段,并设计手部感知监督来提升细粒度动作与物体交互的建模质量。 技术上有三个关键组件:用因果流映射实现少步生成,用区域感知分数蒸馏融合视频与图像先验来优化交互动态,并推出轻量视频解码器 Ultra-Fast-VAE 降低推理开销。在 HandBench 上,完整序列模型取得 FVD 181.67、MANO Dice 93.02,三步因果模型的 MANO Dice 也达到 92.49。 实时性能方面,单张 H200 上 540p 流式生成达到 18.03 FPS,延迟 741ms,峰值显存仅 34.89GB。团队承诺开源数据集、模型权重与完整训练推理代码,可支撑手控世界模型方向的后续研究。

当前结论

用手就能直接操控视频世界模型,不再只靠文字和镜头指令。单张 H200 跑到 18 FPS、延迟 741ms,还能实时交互。做具身智能、交互仿真或者世界模型研究的开发者值得关注,代码和数据都会开源。

2 个信源47° AI 热度最后更新 2026/11/16 17:51:44

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。