事件专题 ·多源确认

OpenAI 发布 LifeVal 基准:169 个日常任务测评智能体

OpenAI 调研了 3,837 名美国消费者,从 148 项生活任务中筛出人们愿意付费的类别,这些任务年价值超 1.7 万亿美元。LifeVal 将其中最有价值的部分转化为 169 个智能体任务,涵盖理财、搬家、找工作、找托儿等场景,每个任务都配有评分标准、工作环境和离线网页副本,并经过三轮人工审核。成绩从 GPT-5.2 到 GPT-6 Astra 逐步上升,最常见的失败是给出了错误答案或建议,原因往往是漏掉了用户几周前聊天中提到的事实。仅在依赖过往对话的评分项上,模型胜率为 33%,而依赖已保存记忆的项目为 48%。

当前结论

OpenAI 拿 169 个真实生活任务测各家模型,发现模型老忘掉你几周前说过的话,做记忆助手的建议跑一下这个基准。

11 个信源68° AI 热度最后更新 2026/11/5 13:41:04

证据链

11 个信源
相关来源 2智源研究院 BAAI
查看原文
相关来源 3Simon Willison’s Weblog
查看原文
相关来源 8Artificial Analysis
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。