METR 评估：Anthropic 模型能力进步速度约为原来的 2 倍

METR 独立评估：Anthropic 模型能力的进步速度大约翻了一倍，大部分可能要归功于 AI 参与研发 AI 安全评估机构 METR 11 月 5 日发布报告，判断截至 2026 年 10 月，Anthropic 在“目标明确的任务”上提升模型能力的速度，大约是 2024 年 3 月到 2025 年 10 月的 2 倍。METR 说这个判断很不确定，实际是 1.3 倍或 3 倍都不会意外。 METR 是一家非营利机构，研究前沿 AI 有没有失控风险。这份报告评估的是“AI 研发加速”：AI 公司用 AI 写代码、跑实验、训练下一代 AI，会不会让能力进步得比历史趋势还快。担心在于，AI 越造越快，能力增长可能超出对齐和管控手段能应付的速度。 【先说结论】 METR 给了三条结论，都是团队的主观判断，团队内部也有分歧： • 速度：进步速度大约是过去的 2 倍，区间在 1.3 到 3 倍。 • 原因：加速的大部分可能来自 Anthropic 大量用 AI 做研发，METR 猜测约占 8 成。METR 对此不确定，Anthropic 员工内部也没有共识。2025 年底那一波加速，AI 以外的因素可能起了很大作用。 • 往后：METR 没看到明显瓶颈，也没看到收益明显递减，所以未来 12 个月有可能加速得更快。METR 也说自己视角有限，可能漏掉了瓶颈。 报告里还有一个细节：比起以前，Anthropic 现在会把最新模型在内部多留一段时间再对外发布。 【1.9 倍这个数字怎么来的】 公开报告里最具体的证据是测试分数。METR 用的是 AECI，即 Anthropic 版的 Epoch 能力指数，这套方法由研究机构 Epoch AI 提出，把一堆测试成绩合成一个总分，方便看能力随时间怎么涨。 2025 年 10 月以来，Anthropic 模型的 AECI 增速是此前的 1.9 倍（95% 置信区间 1.5 到 2.8 倍）。也就是说，过去一年的进步，相当于此前两年的进步，大约是从 Claude 2.1 到 Sonnet 4.5 的距离。这个数比 Anthropic 在 Haiku 5.5 系统卡里报的 1.7 倍高，主要因为 METR 算进了三个没发布的内部模型。 这个数字受方法影响很大。换一种统计假设，结果在 1.1 倍到 2.9 倍之间；把其他公司的模型也放进来算，只有约 1.4 倍。最新内部模型在测过的每项测试上得分都超过 50%，难题快不够用了，METR 担心以后很难再这样测下去。 【AI 到底帮了多少】 METR 能确定的一点是，这次加速跟训练算力增长变快无关。招人、数据、算法突破等其他因素，很多细节被删掉了。 METR 和 Anthropic 访谈了不少研究员，大家对自己领域被 AI 加速多少说法差别很大，大致集中在 2 倍。Anthropic 内部还在 Slack 上用表情投票，让员工估计最新模型让自己快了几倍，10 月的平均自评约 12 倍。METR 认为这种投票只是很粗的证据，并提醒个人干活快几倍，不能直接换算成公司整体进步快几倍。 员工还说，现在 AI 主要是给人当帮手，训练模型最重要的环节还不能交给 AI 完全自己做。不过一些研究员说已经看到苗头，AI 独立做出重要贡献可能很快会出现。 【大半证据被涂黑】 METR 给 Anthropic 交了一份约 100 页的完整报告。按约定，公开版里的非公开信息 Anthropic 都能单方面要求删除。Anthropic 删掉了 METR 认为最有说服力的大部分证据，包括训练各环节的加速估算、算法进步估算、算力和数据各占多少功劳，以及对未来模型的预测。 Anthropic 的理由是，这些机密可能帮其他 AI 公司加速。METR 认同删掉的内容属于这类信息，但没评价删得合不合理，理由是自己不适合在公司商业利益和公众知情之间做权衡。METR 说，结果就是公众没法自己核对证据，只能比理想状态更多地依赖 METR 的判断。10 月底 Anthropic 还收紧过一次删减标准，公开报告因此推迟了约 5 天。 合同原本还包括核查 Anthropic 的算力分配，看多少算力用在提升能力、多少用在安全。项目做到一半，Anthropic 取消了这部分，当时 METR 还没得出实质结论。Anthropic 的说法是暂时集中做风险评估，以后再回头做。 这次评估从 8 月中做到 10 月底，METR 投入相当于 2.5 个全职人员，没收 Anthropic 的钱。它和 Anthropic 10 月 15 日宣布、给 METR“类员工权限”的项目是两回事。这次 METR 要数据得主动申请，Anthropic 可批可拒，METR 说可能漏掉了自己不知道存在的信息。 【Anthropic 的回应】 Anthropic 联合创始人 Sam McCandlish 负责公司大部分安全工作。Sam 当天在 X 上说，METR 的很多结论和他的看法一致：AI 在加快 Anthropic 的研究，但很难说清快了多少；AI 还不能独立做出训练模型最重要的贡献，但默认情况下速度可能进一步加快。 关于涂黑，Sam 承认删得多，让外界更难核查 METR 的工作。Sam 的理由是，公开到底是什么在推动加速，既涉及商业机密，也等于给别人一张加速路线图，会让 METR 担心的风险更严重。Sam 认为这个取舍是对的，Anthropic 还在继续评估利弊。 Sam 说，未来几周 Anthropic 会发布自己的报告，分析内部 AI 进步有多快、对照 RSP 处在什么位置，以及新的安全措施。RSP 是 Anthropic 的“负责任扩展政策”，规定模型能力到了某些门槛，就必须配上相应级别的安全防护。AI 研发加速是 RSP 里的关键风险指标之一，但 METR 这次没有专门对照 RSP 的门槛，Anthropic 现在处在哪一级，要等它自己的报告。 METR 报告： metr.org/blog/2026-11-0… METR 推文： x.com/METR_Evals/sta… Sam McCandlish 回应： x.com/Sam_McCandlish… Anthropic 关于独立评估方的说明： anthropic.com/news/an-update… METR @METR_Evals Since August, a team within METR has worked with internal Anthropic information to assess whether AI itself is accelerating AI development. We are now publishing a report summarizing the results of this risk assessment. 🔗 View Quoted Tweet 💬 1 🔄 0 ❤️ 3 👀 1073 📊 1 ⚡