论文

Epoch 测试:GPT-6.2 Astra 等 LLM 尚未达到真实工作的人类标准

精选理由

Epoch 用自家员工的真实工作当测试题,比抽象基准更接地气。结果挺意外:ECI 并列第一的两款模型,实际干活分数差了 17 个百分点。想了解 AI 能不能替代知识工作者的人,值得看这套评分方法。

Epoch AI 在自家基准 Epoch Automation Reports 上测试了 GPT-6.2 Astra 等多款新模型,任务包括制作 Epoch 风格图表和设计基础研究实验等开放式工作,由 Epoch 员工按内部质量标准打分,100% 即员工水准。

正文

结果显示所有模型都未达标:Fable 5.2 得分最高,平均 82%;

GPT-6.2 Astra 排名第四,平均 65%,尽管它与 Fable 5.

2 并列 ECI 最高分 174。在其中一个任务上,Fable 5.

2 和 Opus 5.5 达到了合同工水平。

这一结果说明,即便在 ECI 等能力指标上登顶的模型,在开放式真实工作场景下与合格人类员工仍有 18%–35% 的差距。

原文 · Epoch AI

Can the most capable LLMs match humans at real work? Not yet, at least not on the kind of work we do at Epoch.

We tested GPT-6.2 Astra and other recent models on Epoch Automation Reports, our benchmark of open-ended Epoch work tasks, ranging from making Epoch-style diagrams to designing basic research experiments.

An Epoch employee scores the models’ outputs based on our internal quality standards. A score of 100% represents the standard expected of an Epoch employee.

All models failed to meet the Epoch employee standard. GPT-6.2 Astra ranks fourth (averaging 65%), despite sharing the top ECI score of 174 with Fable 5.2.

Fable 5.2 scored highest, averaging 82%.

On one task, both Fable 5.2 and Opus 5.5 matched the level of a contractor. More on that below.

产业坐标与信源核验

本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「中美大模型技术代差与商业化对照」「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:GPT-6.2 Astra、Fable 5.2、Opus 5.5、基准测试,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Epoch AI」(@EpochAIResearch),经 AITOP 多维评分管线结构化提炼。