METR 在 Anthropic 的研究印证了"直觉测试"的有效性
METR 在 Anthropic 做的这项研究给 vibe-testing 背了书。如果你平时靠快速上手体验来判断模型好坏,这篇等于给你一个依据,还顺带聊了 Claude Sonnet 3.7 为什么是 2025 年最超预期的模型,做模型选型的人可以看看。
Ethan Mollick 引用 METR 在 Anthropic 内部开展的一项研究,认为该研究印证了所谓 vibe-testing(凭直觉快速评估模型)的方法有效性。
他提到 Claude Sonnet 3.7 是 2025 年最明显超出预期的模型。
Mollick 表示这与自己过去几年使用 Anthropic 模型的体验,以及 X 平台上 AI 社区的普遍共识相符。研究由 METR 完成,结合其此前对模型评估的工作,说明主观体验式测试在捕捉模型质量差异上有一定参考价值。
Leaving aside everything else about this research done by METR at Anthropic, it validates vibe-testing.
It is my experience with the quality of the past years of Anthropic AI models (& AI consensus on X). Yes, NewSonnet 3.7 was the most obviously above expectation model of 2025. https://t.co/0Aw6nCggM9
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Anthropic、METR、Claude Sonnet 3.7、模型评估,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Ethan Mollick」(@emollick),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 Techsauce、AIGCLINK、kimmonismus 等),属于近期高关注度行业信号。