Looking(视觉感知/看图能力)是多模态大模型的核心环节,指模型在推理过程中真正读取并理解图像内容,而非仅凭语言先验作答。近期研究开始系统追问:当多模态模型声称自己'在图像上思考'时,它们究竟有没有看?这一问题正成为视觉工具使用可靠性的焦点。
Looking 能力的近期研究进展
当前焦点与观察点
当前关于 Looking 的讨论集中在两点:一是评测方法——传统的视觉问答基准可能无法区分'真看图'与'语言猜测',因此因果审计类方法开始流行;二是工具调用可靠性——当模型在链式推理中调用裁剪、放大、OCR 等视觉工具时,幻觉会沿链路累积,影响最终答案的可信度。
需要说明的是,'Looking' 本身是常见英文词,公开报道中大量出现仅为普通用语的偶然匹配(如招聘、出行类帖文),真正相关的核心证据仍以 arXiv 的因果审计论文为主。对开发者和研究者的建议是:在选型多模态模型时,不要只看榜单分数,还应关注模型在视觉信息被篡改或移除后的表现变化,以此判断其视觉理解的真实性。后续值得跟踪的观察点包括:视觉幻觉是否会出现标准化评测基准,以及开源模型能否在真实看图能力上追平闭源前沿。