主要来源arXiv: OpenAI
查看原文事件专题 ·官方一手
NAES 方法让冻结 CLIP 正确处理否定描述:COCO-MCQ 达 82.4%
论文提出 Negation-Aware Evidence Scoring(NAES),针对冻结视觉语言模型无法正确处理否定描述的问题:查询“没有烤面包机的厨房”反而会偏好含烤面包机的图片。方法核心是利用模型擅长肯定描述的不对称性,将否定描述重构为肯定查询再组合证据。 具体流程分两步:轻量文本分解器 NegSplit 提取被否定的片段和剩余的肯定上下文。若存在肯定剩余内容,NAES 匹配该内容并对否定对象施加基于存在性的修正;若没有肯定内容,则查询被否定对象的存在情况,围绕参考点对证据进行反射式评分。 实验结果:使用 LAION-2B CLIP 在 COCO-MCQ 达 82.4%、VOC2007-MCQ 达 93.0%,超过 KTN 2.9 和 0.9 个百分点;使用 OpenAI CLIP 时超过 PeakPatch 4.4 和 26.0 个百分点。方法还提升了 COCO 和 MSR-VTT 上的否定描述检索效果,且适用于 SigLIP、SigLIP 2 及更大的 CLIP 编码器。
当前结论
CLIP 这类模型一直分不清“有 X”和“没有 X”,这篇论文只加一个轻量分解器 NegSplit 就解决,不用微调模型。COCO-MCQ 提到 82.4%,比 KTN 高近 3 个点,还能直接用在 SigLIP 上。做图像检索或多模态匹配的开发者可以直接套用这套打分思路。
11 个信源38° AI 热度最后更新 2026/11/11 05:16:16
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。