事件专题 ·单一信源

LoCoMo 得分拆解:评委与答案提示词对分数影响可达 9.3 分

一篇 arXiv 论文系统测量了长对话记忆基准 LoCoMo 分数对评测配置的敏感度。实验覆盖 10 段对话共 1,540 个问题,使用 gpt-4o-mini 与 gpt-4.1-mini 两个答案模型、两种答案提示词和三个 LLM 评委:只更换评委最多使分数变动 7.2 分,只换答案提示词最多变动 9.3 分。 论文以黑盒方式评测了面向编程智能体的团队记忆系统 Becos。Becos 从比整段对话少 90% 字符的上下文中生成答案,在 gpt-4o-mini 作答时显著高于整段对话基线(短提示词下 79.7 对 73.0,差值 95% 置信区间 +3.8 到 +9.5;分步提示词下 88.8 对 77.5),但换用 gpt-4.1-mini 时两者基本持平(83.2 对 83.1,92.5 对 92.1)。 作者对 150 个答案做了盲测人工核查,发现评委在意见一致时可靠,且主要评委在有争议答案上的误判反而不利于 Becos。论文同时指出 Becos 的配置是在 LoCoMo 本身上调出来的,没有留出测试集,并已公开全部答案、判定结果和评分脚本。

当前结论

如果你常看各家记忆系统的 LoCoMo 分数,这篇会改变你的读法:换个评委分数能差 7.2 分,换个提示词差 9.3 分。作者还把全部答案和评分脚本开源了,做 agent 记忆或跑基准的开发者都该看。

2 个信源36° AI 热度最后更新 2026/11/14 06:41:22

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。