video-to-video(视频到视频生成)是一类将输入视频直接转换为具有不同风格或内容的新视频的 AI 技术,处于当前生成式视频领域的核心位置。与从文本生成视频不同,它保留原始视频的动作、结构和时序信息,只替换外观、场景或角色,因而常被用于风格迁移、角色表演转换和影视特效制作。2024 年以来,随着扩散模型和动作捕捉技术的进步,这一方向的研究与应用明显加速。
video-to-video 近期进展
当前焦点与观察点
目前 video-to-video 领域的核心争议集中在两点:一是长视频一致性,现有方法在超过一定时长后仍难以保持角色外观和场景的稳定,vid2vid-long 等工作正是针对这一问题的回应;二是身份与版权风险,将真人动作(尤其是知名武打演员的动作风格)转写为新场景时,涉及肖像、动作版权和授权边界的讨论尚未有定论。
值得关注的趋势是工作流的融合:动作捕捉提供精确的底层数据,video-to-video 模型负责外观与风格的生成,两者结合可能成为影视预演、虚拟制片的标准流程。观察点包括长时序一致性方案能否落地为通用工具,以及各大平台会推出怎样的原生视频编辑能力。