T2V 相关 AI 资讯 · AITOP · AI热报

9月1日

09:24

09:24

官方账号arXiv cs.LG@Zachary Coalson, A M Aahad, Stella Doehring, Zane Ma, Sanghyun Hong

精选

研究团队首次系统评估了文本生成视频(T2V)扩散模型在随机硬件故障下的表现。研究覆盖了三种T2V模型和一个代表性基准，发现单个故障可导致性能下降3.7%，语义正确性比感知质量更易受影响。内存故障比计算故障危害更大，bfloat16格式比其他格式更易受影响。7-28%的故障会导致可见伪影，包括语义变化。

论文 T2V 扩散模型文本生成视频

推荐理由：研究团队测试了三种视频生成模型，发现硬件故障可能导致视频内容发生语义变化，这对实际应用有重要警示意义。

6月30日

11:10

11:10

官方账号arXiv cs.LG@Shihao Zhang, Yuguang Yan, Junzhe Zhang, Wei Zhao, Bohan Wang, Hanwang Zhang

文本到视频扩散模型通常依赖额外奖励信号（如奖励模型或DPO）对齐人类偏好，但计算成本高且需人工标注。本文提出数据流形本身可作为奖励模型，通过显式建模高质量SFT数据的流形结构获得密集、可微、近乎零成本的奖励信号。基于局部坐标编码（LCC）捕获流形骨架，但LCC存在均值回归问题导致丢失高频细节。为此提出Shell-LCC，建模流形表面为各向同性壳层以对齐真实高密度区域。实验表明Shell-LCC能提升真实感、增强高频细节、减少过平滑伪影并缓解运动模糊。

论文 Shell-LCC LCC T2V

推荐理由：这篇论文发现数据流形本身就是好奖励，提出Shell-LCC，不花啥钱就能让AI生成的视频更清晰、少模糊，比加奖励模型省事多了。