arXiv 论文提出智能体记忆评估新协议，区分正确答案与证据充分性
Correct Answers from Insufficient Histories: A Controlled Study of Agent Memory Evaluation
做智能体记忆或评估的朋友该看看：论文用逐字节相同的可见上下文构造出答案不确定的案例，发现 Qwen3-32B 和 DeepSeek-V4-Flash 在 203 个证据不足实例里几乎不弃答、直接给参考答案。这暴露了现有记忆评测把"答对"当"答得合理"的漏洞，设计评估流程的团队尤其需要警惕。
一篇 arXiv 论文研究了智能体记忆评估中的关键区分：答案与参考一致，不代表读者的可见历史足以确定该答案。作者用可执行设备日志设计协议，将参考一致性、认证的证据充分性与情境合理行为三者分开，判定证据不足需要存在两个合法历史，其可见上下文逐字节相同但答案不同。
实验在 80 条确认历史上进行，Qwen3-32B 在 203 个证据不足的原始前缀实例中匹配 87 个隐藏参考，但只做了 7 次合理弃答；DeepSeek-V4-Flash 在相同 203 个实例上复现匹配 85 个、弃答 21 次，每个读者共发出 1600 次请求。紧凑 CSV 的适当性效应估计不显著：Qwen 为 +3.16 个百分点（95% 区间 [0.00,6.57]），DeepSeek 为 +2.46（[-1.84,6.94]）。
独立的留出判官研究达到 99.38% 正确率但仍存在支持错误和截断；确定性基线能解出全部构造案例。作者明确指出这是跨两种托管读者配置的评估诊断，而非通用记忆系统或自然语言证据评估的性能提升。
Correct Answers from Insufficient Histories: A Controlled Study of Agent Memory Evaluation
An answer can match the reference for a complete agent history even when the reader's visible history does not determine it. We study this distinction using executable device logs. Our protocol separates reference agreement, certified evidence sufficiency, and context-appropriate behavior. Insufficiency requires two legal histories yielding byte-identical visible contexts but different answers; public chronology and query cutoffs certify sufficient prefixes. On 80 confirmation histories, Qwen3-32B matches 87 hidden references among 203 insufficient raw-prefix instances, with only seven appropriate abstentions. A fixed-input DeepSeek-V4-Flash replication matches 85 and abstains on 21 of the same 203 instances. Each reader makes 1,600 requests. Compact CSV's estimated appropriateness effects remain inconclusive: +3.16 percentage points, clustered 95% interval [0.00,6.57], for Qwen and +2.46, [-1.84,6.94], for DeepSeek. A separate held-out judge study achieves 99.38% correctness but retains support errors and truncations; a deterministic baseline solves all constructed cases. These results support an evaluation diagnosis across two hosted reader configurations, not gains for a general memory system or natural-language evidence assessment.
本条情报归属 AITOP「论文」核心栏目，重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Qwen3、DeepSeek、智能体、评估基准，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始信息发布自一手权威信源「arXiv: DeepSeek」（Tier-1 一手发布），具备高确定性参考价值。
