视频基础模型相关 AI 资讯 · AITOP · AI热报

9月1日

11:19

11:19

官方账号arXiv cs.AI@Athira J. Jacob, Puneet Sharma, Dorin Comaniciu, Daniel Rueckert

73°

MR-JEPA是心脏磁共振成像(CMR)的自监督视频基础模型，通过tubelet标记化、时空掩码增强和2D CMR基础模型初始化扩展到3D时空输入。该模型在10,505名患者的多序列数据上进行预训练，涵盖cine、LGE和mapping序列。在六项下游任务评估中，MR-JEPA在五项回归任务上表现优于其他方法，包括LV EF MAE为4.79%(r=0.764)和GLS MAE为1.87(r=0.805)，应变任务上比基线减少21-27%的MAE。

AI模型 MR-JEPA CMR 心脏MRI

推荐理由：研究人员发布了MR-JEPA模型，能处理心脏MRI多序列视频数据，在心脏功能评估和疾病检测上超越现有方法。

6月9日

11:00

11:00

官方账号arXiv cs.AI@Samuele Punzo, Niccolò Caselli, Ippokratis Pantelidis, Francesco Massafra, Salvatore Lo Sardo, Mohammadreza Salehi

精选

该研究通过冻结特征探测方法，在IntPhys2和MVP基准上评估了三种视频基础模型（V-JEPA、VideoMAE、LTX-Video）对直觉物理信息的编码能力。V-JEPA在整体表现上最强，尤其在使用建模时间动态的探测时；VideoMAE表现接近，而LTX-Video虽较弱但仍能提取有效信号。分层分析显示，物理相关信息在早期层最弱，在中后期层最易获取；打乱帧顺序会显著降低性能，尤其在MVP上。结果表明，直觉物理知识在预训练视频表示中可靠涌现，但其可获取性依赖于预训练范式、表示深度和读出机制。

论文视频基础模型直觉物理分层探测

推荐理由：这项研究揭示了视频模型理解物理规律的能力差异，对从事视频理解、物理推理或自监督学习的开发者有直接参考价值，建议关注V-JEPA在时间动态建模上的优势。