对比学习

general · 首次出现 2026-05-28 · 最近出现 2026-10-28 · 累计提及 29

综述

对比学习是一种让模型通过"拉近相似样本、推远不相似样本"来学习特征表示的自监督方法,当前已从通用视觉、文本预训练扩散到医疗影像、化学、地球系统等垂直领域,成为表征学习的主流范式之一。它的核心优势是不依赖大量人工标注,但难点在于正负样本的构造与难例挖掘。

对比学习近期进展

作者身份验证方面,一项基于对比学习的方法在 PAN21 评测上达到 98.4% 准确率。该工作把同一作者的不同文本视为正对、不同作者文本视为负对,说明在风格差异明显的任务上,对比目标仍能提供稳定且高效的判别信号。基于对比学习的作者身份验证方法在 PAN21 上达到 98.4% 准确率

跨模态与多源协同成为新的增长点。SynCo 通过对比交互残差学习实现跨模态协同,把模态间的互补信息显式建模;ViTAMINS 则用自监督方式为视觉 Transformer 合成难例,直指对比学习中"简单负样本过多、梯度信息不足"的老问题。SynCo:通过对比交互残差学习跨模态协同 ViTAMINS:自监督视觉Transformer合成难例训练研究

垂直领域落地持续加深。 ARC-CT 用解剖结构引导 3D 胸部 CT 的对比学习,RxnCLF 将其用于化学反应基础模型以提升反应性预测,TerraNova 则尝试构建覆盖地球与社会的耦合基础模型,表明该方法正被当作领域预训练的通用组件。ARC-CT:3D胸部CT的解剖引导对比学习 RxnCLF:对比学习反应基础模型提升反应性预测

鲁棒性与数据关联也有新尝试。CDAE 用对比去噪增强预训练语言模型对扰动的鲁棒性,LOKI 借助文本证据发现异构数据表之间的关联,把对比思想用于结构化数据的匹配任务。CDAE:用对比去噪增强预训练语言模型的扰动鲁棒性 LOKI:用文本证据发现异构数据表间关联的新方法

当前焦点与观察点

一是难负样本的构造方式,合成难例、交互残差等思路都在试图解决负样本质量决定上限的问题。二是跨域迁移,STSA 针对动态文本属性图提出迁移学习协议,反映出对比学习在分布偏移场景下的泛化能力仍待检验。三是评测口径,98.4% 这类高分多来自特定数据集,能否在开放场景复现,是判断方法真实价值的关键。

相关报道

10 条在档