SADL 提出供需匹配约束,将 JEPA 表示崩溃率从 50% 降到 0%
做自监督或世界模型的人应该看看这篇。JEPA 训练时表示崩溃很常见,SADL 不加参数、不改架构,只用一个供需匹配的约束就把崩溃率从 50% 压到 0%,有效秩提升好几倍。如果你在用 LeWM 或 INTACT 这类框架,可以直接对照复现。
做自监督或世界模型的人应该看看这篇。JEPA 训练时表示崩溃很常见,SADL 不加参数、不改架构,只用一个供需匹配的约束就把崩溃率从 50% 压到 0%,有效秩提升好几倍。如果你在用 LeWM 或 INTACT 这类框架,可以直接对照复现。