事件专题 ·多源确认

METR 在 Anthropic 的研究印证了"直觉测试"的有效性

Ethan Mollick 引用 METR 在 Anthropic 内部开展的一项研究,认为该研究印证了所谓 vibe-testing(凭直觉快速评估模型)的方法有效性。他提到 Claude Sonnet 3.7 是 2025 年最明显超出预期的模型。Mollick 表示这与自己过去几年使用 Anthropic 模型的体验,以及 X 平台上 AI 社区的普遍共识相符。研究由 METR 完成,结合其此前对模型评估的工作,说明主观体验式测试在捕捉模型质量差异上有一定参考价值。

当前结论

METR 在 Anthropic 做的这项研究给 vibe-testing 背了书。如果你平时靠快速上手体验来判断模型好坏,这篇等于给你一个依据,还顺带聊了 Claude Sonnet 3.7 为什么是 2025 年最超预期的模型,做模型选型的人可以看看。

11 个信源36° AI 热度最后更新 2026/11/12 20:06:01

证据链

11 个信源
相关来源 7The Information
查看原文
相关来源 9Artificial Analysis
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。