自监督学习是一种不依赖人工标注、让模型从数据自身的结构或变换中构造监督信号来预训练表征的机器学习范式，目前已成为视觉、语音、时序与科学数据等领域预训练模型的主流技术路线之一。它的核心思路是设计" pretext task "——例如掩码重建、对比学习、跨视角预测——让模型在无标签数据上先学到通用特征，再迁移到下游任务。相比监督学习，它降低了对昂贵标注的依赖，因此在地质、天文、医疗等标注稀缺的垂直领域受到持续关注。
自监督学习近期进展
在视觉与多模态方向，自监督表征的迁移能力继续被验证。arXiv 上提出的 SNAP 方法（SNAP：从新视角合成学习几何表征的自监督Transformer）利用新视角合成作为预训练目标，让 Transformer 学到可迁移的几何表征；VideoMSN（VideoMSN：图像分类器高效自监督视频表示学习）则尝试把成熟的图像分类器复用到视频自监督表示中，降低视频预训练成本。与此同时，Google DeepMind 的 StarWM（StarWM 用自监督注意力路由构建更抗干扰的世界模型）将自监督注意力路由引入世界模型，目标是在干扰环境下保持表征稳定性。
在语音与图数据方向，方法创新更偏向效率与免掩码设计。SepRQ（SepRQ 开源：无掩码多尺度语音分离 SSL 框架）提出不依赖掩码的多尺度语音分离自监督框架；HyperFuse（HyperFuse 提出快速超图节点嵌入方法，速度最高提升 179 倍）把快速嵌入用于超图节点表示，速度最高提升 179 倍，说明自监督思路正被移植到非欧几里得结构。
在科学数据方向，掩码预训练展现出替代领域专家特征的能力。一项极光光谱研究（自监督学习用于极光光谱：1D ViT 掩码预训练超越专家特征与监督基线）用一维 ViT 做掩码预训练，结果超过人工设计的专家特征与监督基线；AI 辅助地质解释工作流（AI辅助地质解释工作流程）也把自监督表征作为解释流程的一环。这些案例共同说明：在标注极少的科学场景，自监督学习正从"可选"变成"默认起点"。
当前焦点与观察点
第一，预训练目标的通用性仍有争议。掩码重建、对比学习、跨视角预测各有所长，SNAP 与 VideoMSN 代表的两条路线谁能更好迁移到下游，尚无定论。第二，效率成为新赛道。HyperFuse 的 179 倍提速、VideoMSN 复用图像分类器，都指向同一诉求：让自监督预训练在算力受限时也能落地。第三，评测标准尚未统一。极光光谱一类的领域研究虽报出超越监督基线的结果，但不同论文的数据集与协议差异较大，横向比较仍需谨慎。第四，世界模型与幻觉检测（MEND）等新方向开始借用自监督信号，这可能成为下一阶段的观察重点。