vid2vid-long:基于显式对应关系的长时序一致性视频翻译方法
实时视频翻译一直有个老大难:为了跑得快只看固定窗口,画面一久就不一致。这篇论文的思路挺巧——直接在输入帧之间找 patch 对应关系,用 cross-attention 把历史生成结果拉回来。做实时视频生成的朋友可以看看代码思路。
实时视频翻译一直有个老大难:为了跑得快只看固定窗口,画面一久就不一致。这篇论文的思路挺巧——直接在输入帧之间找 patch 对应关系,用 cross-attention 把历史生成结果拉回来。做实时视频生成的朋友可以看看代码思路。
做对话系统或客服机器人的团队,SRT解决了长对话中信息稀疏和一致性差的痛点,无需外部模块就能提升效果,值得在长上下文场景中试试。