Anthropic 发布研发自动化指数,Claude 已主导 26% 内部 AI 研发
Anthropic:Claude 已主导 26% 内部 AI 研发工作
Anthropic 的 CEO 呼吁放缓 AI 发展,现在他们自己用 Claude 来主导部分研发工作,挺有意思的。
Anthropic 公布了衡量 AI 研发进度的方法,其中“Anthropic 研发自动化指数”显示,Claude 已主导约 26% 的内部 AI 研发工作,处于“AI 协作”及更高等级的工作占比超过 90%。
Anthropic:Claude 已主导 26% 内部 AI 研发工作
IT之家 9 月 18 日消息,Anthropic 今日发布了一套用于衡量前沿 AI 实验室研发进度的方法,并公布公司内部的阶段性数据。 该体系主要关注 3 项指标:AI 参与 AI 研发的程度、AI 智能体的监督情况,以及算力在 AI 研发与安全研究之间的分配。 Anthropic 称,随着 AI 能力的提升,AI 正在越来越多地参与下一代 AI 系统的研发。公司希望通过公开这些指标,让公众、第三方机构和政府更直观地了解前沿 AI 研发的推进速度。 Anthropic CEO 达里奥 · 阿莫代伊曾呼吁协调放缓前沿 AI 发展,若出现协调,相关数字预计会变化。 在 AI 参与 AI 研发方面,Anthropic 提出了“Anthropic 研发自动化指数”,用于衡量 Claude 参与公司 AI 研发工作的程度。该指标采用 Epoch AI 提出的自动化等级体系,从 AL0 到 AL5,分别对应没有 AI 参与、AI 辅助、AI 协作、AI 主导以及完全自主运行。 类似于汽车的自动驾驶评判等级,AL5 指的是 AI 完全自主运行、无需人类介入,AL4 指 AI 可依据高层提示完成大部分任务、人类只负责监督。 截至 2026 年 8 月,Claude 未在任何被测量的 AI 研发工作中实现“完全自主运行”,但已经“主导”Anthropic 约 26% 的 AI 研发工作,同时处于“AI 协作”及更高等级的工作占比已经超过 90%。 Anthropic 披露,这一比例在 2026 年 2 月还不到 1%。该公司认为,这类指标有助于观察 AI 研发自动化程度是否持续提高,以及距离“递归自我改进”—— 即 AI 能够完全自主开发下一代 AI—— 还有多远。 为建立这一指标,Anthropic 从 2026 年 7 月的内部工作记录、Slack 及其他文档中抽样整理出约 1.5 万个模型研发任务,并将其归纳为 542 个不同层级的任务节点,其中 378 个属于最细分的任务类别。随后由 Claude 研究这些任务的执行方式及 AI 参与程度,并由独立的 Claude 评估模型进行自动化等级判断。 实时监控系统会在智能体执行操作前检查行为,并在发现危险操作时进行拦截或调整。Anthropic 对 2026 年 8 月超过 10 亿次智能体决策进行分析后发现,约 0.002% 的操作被该系统拦截(IT之家注:相当于约每 4.7 万次操作出现 1 次拦截)。 事后监控系统则会分析智能体已经完成的操作,每周约标记 10 万份对话记录进行进一步检查,其中优先级最高的约 50 份会升级至人工审核。此外,约千分之一至千分之二的智能体活动会被标记为需要进一步审查。 在算力分配方面,Anthropic 统计了 2026 年 7 月 13 日至 7 月 20 日期间的算力使用情况。数据显示,该公司用于 AI 研发的算力中约 6% 投入安全研究;如果仅统计基于 AI 的 AI 研发工作,其安全研究算力占比约 12%。 Anthropic 强调,上述算力比例是较为保守的估计,因为同时促进模型能力和安全性的工作没有被计入安全研究,而且该统计也没有计算用于安全分类器的另一部分算力。公司同时指出,安全研究通常并不需要像前沿模型训练那样消耗大量算力,因此算力占比不能直接代表安全工作的整体投入程度。 Anthropic 称,这些指标目前仍属于原型测量体系,跨实验室比较还面临统一方法和独立验证等问题。公司计划引入来自多个组织的独立第三方评估人员,让其获得与内部风险评估团队相近的流程、系统和数据访问权限,以验证安全实践并持续监测相关指标。 Anthropic 表示,公布这些测量是为了让公众、第三方和政府更好了解前沿实验室内部的 AI 发展速度,并希望继续发布相关数据。