论文

Budget-Paired Counterfactual Audits:一种评估视觉智能体的新协议

Choosing What to Observe: Budget-Paired Counterfactual Audits for Credible Evaluation of Visual Agents

精选理由

搞文档智能体评测的人可以看看这篇。它不再只看最终答对率,而是把预算怎么花、答案怎么定拆开算账,能定位到底是规划差还是决策差。如果你在做 RAG 式的视觉检索智能体,这套审计方法可以直接拿来诊断自家系统。

一篇新论文提出 budget-paired counterfactual audits 评估协议,用于更可信地衡量视觉智能体读取密集文档时的表现。核心问题在于传统 answer accuracy 把"看哪里""如何适应剩余观测""停止观测后如何作答"三件事混在一起,无法定位真实瓶颈。

正文

该协议在保持公开证据和区域绑定不变的前提下,只扰动剩余观测预算或声明的任务参数,并为每条已获取的历史记录赋予精确的 continuation value。由此把损失分解为 stepwise acquisition loss 与 terminal decision loss,从而把规划能力与固定角色的启发式行为区分开。

论文在四十个配对 routing anchors、五个 open-weight 模型上进行了实验验证。对从事智能体评测、文档理解智能体开发的研究者来说,这种把"选什么看"独立出来的会计式评估方法,可以直接用于诊断自己的智能体在预算受限场景下的规划短板。

原文 · arXiv cs.AI

Choosing What to Observe: Budget-Paired Counterfactual Audits for Credible Evaluation of Visual Agents

Visual agents that read dense documents must ration a finite observation budget across candidate regions, yet answer accuracy conflates where an agent looks, how it adapts to the reads that remain, and how it an?swers once observation stops. We introduce budget-paired counterfactual audits, an evaluation protocol that holds public evidence and region bindings fixed while perturbing only the remaining budget or de?clared task parameters, and credits every acquired history with exact continuation values. The resulting accounting decomposes lost expected accuracy into stepwise acquisition loss and terminal decision loss, separating planning from fixed-role heuristics. Across forty paired routing anchors, five open-weight

产业坐标与信源核验

本条情报归属 AITOP「论文」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Visual Agent、文档理解、智能体评测、counterfactual,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「arXiv cs.AI」(@Ruiqi Liu, Jinming Li, Mo Wang, Yang Lu, Yanlan Kang),经 AITOP 多维评分管线结构化提炼。