Counting

general · 首次出现 2026-05-22 · 最近出现 2026-10-21 · 累计提及 26

综述

Counting(计数)指让视觉或多模态模型判断图像中目标数量的能力,是衡量视觉感知精细度的基础任务之一,也是当前视觉语言模型(VLM)评测中的常见短板项。与分类、检测不同,计数要求模型对个体实例进行区分和累加,对空间注意力和实例分割能力都有较高要求,因此常被用作压力测试维 度。

Counting 的近期进展

  • SABRE:可扩展自动化的VLM压力测试基准构建流程 提出了一套可扩展、自动化的基准构建流程,将计数这类细粒度感知能力纳入 VLM 压力测试。自动化生成题目降低了人工标注成本,也让计数评测可以更密集地覆盖不同场景与难度。
  • Imaginative Perception Tokens 提升多模态模型空间推理 通过引入想象式感知 token 改善多模态模型的空间推理表现。由于计数与空间排布理解高度相关,这类推理增强方法也被视为改进计数能力的间接路径。
  • AGM:冻结VLA策略的闭环智能体记忆框架 面向 VLA 智能体提出闭环记忆机制。智能体在交互中若需统计环境中的物体数量,稳定的感知记忆有助于减少重复计数误差,这与计数任务的长时序一致性需求相呼应。
  • 当前焦点与观察点

    Counting 研究的焦点正从单纯报对数字,转向把计数作为检验模型感知与推理链条是否可靠的探针。争议点在于:计数错误究竟源于视觉编码端无法分离实例,还是语言端在数值推理上的缺陷,目前尚无定论。评测方法上,自动化基准能否避免数据污染、保证题目分布合理,是 SABRE 这类流程需要持续验证的问题。值得关注的方向包括:计数与空间推理的联合评测、推理时 token 生成策略对计数准确率的影响,以及具身场景下的动态计数——三者可能共同决定多模态模型能否从“看得见”进化到“数得清”。

    相关报道

    10 条在档
    Counting · AI 话题观测|AI热报