DolphinBench 基准：用真实任务评估智能体记忆的准确率、成本与延迟

arXiv 论文提出 DolphinBench，把记忆评估从问答对错改为直接看智能体完成任务的成败。基准设置 3 个知识工作者 persona，每个积累约 50 万 token 的历史消息，任务必须依赖这些历史才能完成。每个 persona 配 200 个任务，验证方式是带历史运行必须成功、去掉历史运行必须失败。所有提交须同时报告准确率、总成本和延迟，论文据此绘制记忆系统的帕累托前沿，并指出此前没有基准同时覆盖这三项。数据集和评测代码已在 dolphinbench.ai 公开。