Looking

general · 首次出现 2026-05-22 · 最近出现 2026-10-23 · 累计提及 224

综述

Looking(视觉感知/看图能力)是多模态大模型的核心环节,指模型在推理过程中真正读取并理解图像内容,而非仅凭语言先验作答。近期研究开始系统追问:当多模态模型声称自己'在图像上思考'时,它们究竟有没有看?这一问题正成为视觉工具使用可靠性的焦点。

Looking 能力的近期研究进展

  • 视觉工具使用的幻觉:对图像思考的因果审计:arXiv 这篇 cs.AI 论文对模型的图像思考过程做了因果审计,发现所谓'视觉工具使用'存在幻觉——模型即使没有真正调用或正确解读视觉信息,也可能输出看似合理的结果。这为'模型是否真的在看'提供了量化证据,是目前该话题最具代表性的研究。
  • 开放社区同样在关注前沿模型的真实多模态表现。elvis 在 X 上评价 Meta 的最新成果时表示结果令人印象深刻,认为前沿开源模型在视觉等能力上仍有持续进展,开源与闭源之间的差距正在缩小。
  • 国内厂商方面,阶跃星辰称 Step 5 Preview 在推理表现上较为强劲,多模态推理能力成为其主打的评估方向之一。
  • 当前焦点与观察点

    当前关于 Looking 的讨论集中在两点:一是评测方法——传统的视觉问答基准可能无法区分'真看图'与'语言猜测',因此因果审计类方法开始流行;二是工具调用可靠性——当模型在链式推理中调用裁剪、放大、OCR 等视觉工具时,幻觉会沿链路累积,影响最终答案的可信度。

    需要说明的是,'Looking' 本身是常见英文词,公开报道中大量出现仅为普通用语的偶然匹配(如招聘、出行类帖文),真正相关的核心证据仍以 arXiv 的因果审计论文为主。对开发者和研究者的建议是:在选型多模态模型时,不要只看榜单分数,还应关注模型在视觉信息被篡改或移除后的表现变化,以此判断其视觉理解的真实性。后续值得跟踪的观察点包括:视觉幻觉是否会出现标准化评测基准,以及开源模型能否在真实看图能力上追平闭源前沿。

    相关报道

    10 条在档