CVP 用目标亲和度 token 提升 3D 视觉语言模型表现
UCSD 和 Lambda 的 CVP 方法让 3D 模型看清你问的是哪个物体,5 个基准全赢 Video-3D-LLM。
UC San Diego 与 Lambda 在 WACV 2026 提出 CVP 方法,解决 3D 视觉语言模型误判目标物体的问题。
它引入目标亲和度 token 标记任务相关物体,并用 allocentric 网格提供全局上下文。对比 Video-3D-LLM,CVP 在 SQA3D EM 上从 58.
6 提升到 62.3,在 Scan2Cap CIDEr 上从 83.
8 提升到 90.5。
该方法在 ScanQA、SQA3D、ScanRefer、Multi3DRefer、Scan2Cap 共 5 个基准上全部取得更好成绩。
Ask a 3D vision-language model what's near the table and in front of the curtain, and it might guess "sewing machine." The right answer is a tray rack.
CVP (UC San Diego + Lambda, WACV 2026) fixes this with a target-affinity token for task-relevant objects and an allocentric grid for global context.
Against Video-3D-LLM:
• SQA3D EM: 58.6 → 62.3 • Scan2Cap CIDEr: 83.8 → 90.5 • Better on all 5 benchmarks tested
Full results across ScanQA, SQA3D, ScanRefer, Multi3DRefer, and Scan2Cap, plus how the central/peripheral split works: https://t.co/O4YwNiES3r
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:CVP、3D视觉语言模型、Video-3D-LLM、ScanQA,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Lambda」(@LambdaAPI),经 AITOP 多维评分管线结构化提炼。